EM算法推导与GMM的训练应用(2)

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

上说道，GMM的表达式为k个高斯分布的叠加，所以有

为

类出现的先验概率。令j=

,所以此时的似然函数可以写为

上式中x和z为自变量；以写出解析式，但是

为需要估计的参数。

为高斯分布，我们可

求偏导取极值。

的形式是未知的。

所以如果我们不能直接对

考虑到z是不能直接观测到的，我们称为隐藏变量(latent variable)。为了求解

我们引入EM算法(Expectation-Maximization)。我们从Jensen不等式开始讨论EM算法。

Jensen不等式

若实函数

存在二阶导

且有

，

则

为凸函数

(convex function)。

的值域为，则对于

有以下不等式成立：

此不等式的几何解释如下

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

需要说明的是，若则不等式的方向取反。对上式进行推广，便可得到

Jensen

为凸函数，且

不等式

(Jensen’s Inequality)

。倘若有

则有

此结果可由数学归纳法得到，在这里不做详细的描述。值得注意的是，如果

Jensen不等式中的

，而且把看做概率密度，则有

上式成立的依据是，

，为概率密度时，f(E(x))=

且

。

在后续的

EM算法推导中，会连续多次应用到

Jensen不等式的性质。

EM算法

现在重新考虑之前的似然函数

直接对上式进行最大化求解会比较困难，所以我们考虑进行一定的变通。假设概率密度函数,有

个

再除以一个

且，有

。现在对

是某种

的表达式进行一定得处理，先乘以一

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新人文社科EM算法推导与GMM的训练应用(2)全文阅读和word下载服务。