EM算法推导与GMM的训练应用

EM算法的简单数学推导,没有做仔细的校对。若有问题请邮件联系我。

EM算法与GMM

insmod 2014年4月

注：本文主要参考Andrew Ng的Lecture notes 8，并结合自己的理解和扩展完成。

GMM简介

GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛的应用。其典型的应用有概率密度估计、背景建模、聚类等。

图1 GMM用于聚类 图2 GMM用于概率密度估计 图3 GMM用于背景建模

我们以GMM

聚类为例子进行讨论。如图1所示，假设我们有m个点，其坐标数据为{

,

…

}。假设m个数据分别属于k个类别，且不知道每个点

属于哪一个类。

倘若假设每个类的分布函数都是高斯分布，那我们该如何求得每个点所属的类别?以及每个类别的概率分布函数(概率密度估计)？我们先尝试最大似然估计。

上式中概率；

是当前m个数据出现的概率，我们要将它最大化；

是

出现的

是指第z个类；

u

和分别指第

z

个类的均值和方差；

为其他的参数。为计算方

便，对上式两边取对数，得到似然函数。

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新人文社科EM算法推导与GMM的训练应用全文阅读和word下载服务。