EM算法推导与GMM的训练应用(3)

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

我们把

看做是的函数;

为概率密度，则有

考虑到

log函数为凹函数，利用

Jensen不等式有

此时我们找到了

的一个下界。而且这个下界的选取随着

的不同而不同。即我们得

到了一组下界。用下图来简单描述

图3 选择不同的

我们的目的是最大化

，如果我们不断的取

的最优下界，再优化最优下界，等到算法的最优下界。上式在等号成立时

取得最

得到不同的下界

收敛就得到了局部最大值。所以我们先取得

优下界。根据Jensen不等式的性质，取得等号时的条件有

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

c

是不依赖于

的常数。此时如果选取

=1，所以我们可以取

就可使得上式成立。又考虑到

所以

取后验概率的时候

是

最优下界。如果此时在下界

的基础上优化参数

使其最大化，则可进一步抬高。如此循环往复的进行：取最优化下界；优化下界，便是

EM算法的做法。接下来正式给出EM算法的步骤：

算法开始

E-step:取似然函数的最优下界，对于每个训练样本

计算

。

M-step:优化下界，即求取。

判断是否成立，若成立则算法结束。是设定的算法收敛时的增量。

这就是一个不断取最优下界，抬高下界的过程。用下图简单的表示一个迭代过程:

。在M-step，我们

图4 EM算法的几何解释 我们可以这样解释：E-step就是取优化下界，通过调整使得

的最优下界，此处是

取得局部最优值。由于Jensen不等式始终成立，

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

始终大于等于下界收敛的呢？

，所以的值从变为实现上升。那么这样的迭代是否是

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新人文社科EM算法推导与GMM的训练应用(3)全文阅读和word下载服务。