EM算法推导与GMM的训练应用(5)

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

是每个gauss

分量的权重。在E-step

有

对于

M-step

其中需要优化的参数为均值

分别对其求偏导。

令

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

解出

这便是第l

个高斯分量均值

在M-step

的更新公式。

对于协方差矩阵

考虑到

且有

所以有

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

等价于

为对称阵，

，所以有

解出协方差矩阵的更新公式为

以上便是协方差矩阵

对于每个gauss分量的权重

(或者说是先验概率)，考虑到有等式约束

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

应用Lagrange

乘子法

所以有

考虑到

联立方程可解得

这便是

的更新公式。

总结启发

1. EM算法适用于似然函数中具有隐藏变量的估计问题。 2. 创造下界的想法非常精妙，应该有广泛的应用前景。 3. Jensen不等式在不等式证明方面有着广泛应用。

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

GMM

的简单应用

接下来简单讨论

GMM在图像分割中的应用。以图像中每个像素的颜色信息作为特征进行聚类进而达到图像分割的目的。我们同时拿k-means算法作为对比。

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

1. K-means和GMM用于图像分割由于只考虑了像素的颜色信息，没有考虑空间信息导致其

对于复杂背景的效果很差。对于简单背景和前景的颜色分布都比较柔和的情况有较好的效果。 2. K-means初始值的选择非常重要。不好的初始值经常会造成较差的聚类效果。 3. 应用GMM时，先将3通道彩色图像转换为了灰度图。原因是原始的3个通道数据存在很

强的相关性，导致协方差矩阵不可逆。

4. 聚类(分割)时需要手动确定类别的数量。类的数量对于聚类效果也有很大的影响。

Matlab实现

根据以上推导，可以很容易实现EM算法估计GMM参数。现以1维数据2个高斯混合概率密度估计作为实例，详细代码如下所示。

% fitting_a_gmm.m % EM算法简单实现

% Hongliang He 2014/03 clear close all clc

% generate data len1 = 1000;

len2 = fix(len1 * 1.5);

data = [normrnd(0, 1, [1 len1]) normrnd(4, 2, [1 len2])] + 0.1*rand([1 len1+len2]);

data_len = length(data);

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新人文社科EM算法推导与GMM的训练应用(5)全文阅读和word下载服务。