基于核的学习机研究综述(3)

（２）

第２７卷

２．１有监督型核学习机

ＳＶＭ是有监督型核学习机中最典型的例子，其详细内容见参考文献［１８］。作为最重要的核学习机，ＳＶＭ的研究动机并不仅仅是为了解决非线性问题，而在于它撼动了传统机器学习方法一直作为自己根本出发点的诸多假定，使得人们去关注许多以往被视为理所当然的做法，从本质上推动了对学习过程的认识。除此之外，还有一批基于核的判别方法，如核Ｂａｙｅｓ判别‘２０】、核Ｆｉｓｈｅｒ判别（ｋｅｍｅｌ

Ｆｉｓｈｅｒｄｉｓｃｒｉｍｉｎａｎｔａｎａｌｙｓｉｓ，ＫＦ

其中：妒（ｚ）、妒（Ｙ）是输入空间中的向量舅、Ｙ在特征空间中的像。

由式（２）可见，输入空间的核函数实际上是特征空间内积的等价。核方法的优势在于并不要求知道驴（髫）的具体映射形式，而只要求已知核函数的具体形式。１．２核方法的实施步骤

核方法的实施步骤（图２）如下：

ａ）收集和整理输入样本数据并进行标准化，即Ｘｉ＋＝

ＤＡ）心”、核感知器（ｋｅｒｎｅｌｐｅｒｃｅｐｔｒｏｎ，ＫＰ）‘２２３和核最小平方误差（ｋｅｍｅｌ

ｍｉｎｉｍｕｍｓｑｕａｒｅｓ

—Ｘｉ－－—］．６Ｘｉ，ｆ＝ｌ，２，…，聘（厅为样本维数）；

盯置

ｅｒｒｏｒ，ＫＭＳＥ）判别∞３等。这些方法

分别由经典的线性判别方法如Ｂａｙｅｓ判别、Ｆｉｓｈｅｒ判别、感知器

ｂ）选择或构造核函数；

ｃ）用核函数将输入数据矩阵变换成核函数矩阵，这一步

和ＭＳＥ判别核化而来，其最显著的优势在于能进行非线性判别。上述方法间的关系如图３所示，图中横向双箭头代表有条件的等价关系，纵向单箭头代表核化方向。

相当于将数据通过非线性函数映射到高维特征空间，而核函数则隐式地确定了非线性变换函数，即算法在实施中无须构造非线性映射函数和在特征空间中进行计算；

ｄ）在特征空间运用线性算法进行建模；ｅ）得到输入空间中的非线性模型。核方法具有相同的表达形式：

ｆ

感知器＃刮Ｆｉｓｈｅｒ判别Ｉ｛刮

ＭＳＥＹ－町ｊＪｔ］

俐Ｂａｙｅ￥判别

ｌ竺兰竺兰｜＃＝１竺：！：！：型型Ｐ＝１竺竺：！竺型Ｉ刊竺！：兰：型竺Ｉ

图３各种判别方法间的关系

在已知样本的类先验概率密度和类条件概率密度的前提

（３）

，（ｘ）＝三ａ；Ｋ（毛，≈）＋ｂ

其中：ｚ为样本数目。

下，Ｂａｙｅｓ判别根据样本的后验概率大小决定其类别归属，它的判别结果从理论上来说是最优的。但在许多实际问题中由于样本类条件概率密度很难确定，往往从样本集出发直接构造判别函数而得到相应的判别方法，如Ｆｉｓｈｅｒ判别、感知器和ＭＳＥ判别等。其中Ｆｉｓｈｅｒ判别通过使广义Ｒａｙｌｅｉｇｈ商以极大化而

从式（３）可以看出，核方法的计算复杂度与样本维数无关，因此避免了传统模式识别方法的维数灾难问题。

厂＼

ｌＰ，．．、＼

：

一一Ｒ

一［７’二

核函数

目 盼脚泓∽刈

模式分析算法

求得判别函数的法向量ｗ－Ｒｏｓｅｎｂｌａｔｔ提出的感知器通过使感知准则厶极小化而求得判别函数的法向量ｗ；ＭＳＥ判别通过

核矩阵模式函数．

使平方误差准则Ｊｓ＝０戤Ⅳ一ｋ旺极小化而求得法向量Ⅳ＝Ｓ＋礤如，其中ｓ＋是样本自相关阵ｓ的伪逆。上述判别方法间

有紧密的联系，并且在某些条件下是等价的。比如若两类样本均服从高斯分布且两者的协方差矩阵相等时，Ｂａｙｅｓ判别等价于Ｆｉｓｈｅｒ判别Ⅲｏ；当以中的向量知＝（Ｎ／Ｎ１，．一，Ｎ／ＮＩ，３１／Ⅳ２，…，Ⅳ／Ⅳ２）１。时，ＭＳＥ判别等价于Ｆｉｓｈｅｒ判别，Ⅳｌ和Ⅳ２分别是两类样本的个数；又比如当样本数Ⅳ一＊时，若令如＝（１，１，…，１）”，则ＭＳＥ判别以最小平方误差逼近Ｂａｙｅｓ判别。

基于核的判别方法就是上述线性判别方法核化后的结果。如Ｇｅｓｔｄ等人ｍ１提出了核Ｂａｙｅｓ判别方法，但该方法要求两类样本映射到特征空间，后仍然服从高斯分布且两者的协方差矩阵相等，显然该条件很难满足。在核Ｆｉｓｈｅｒ判别中，由于广义Ｒａｙｌｅｉｇｈ商以是妒的函数，必须将之变形为．，（，．）且与妒无关，然后通过最大化＿，（ｒ）求出ｒ。尽管此时法向量Ｗ仍无法求出，但能求出，中的样本妒（石）在Ｗ上的投影。另外Ｍｉｋａ等人‘圳将－，（ｒ）极大化问题转换成使两类样本的平均边界

（ａｖｅｒａｇｅｍａｒｇｉｎ）距离最大的优化问题。Ｃｏｏｋｅ［拍１提出了Ｆｉｓｈｅｒ

判别的两种改进方法，并指出这两种改进方法都能被核化。感知器只能对线性可分的两类样本进行判别，而许建华等人‘笠Ｊ提出的核感知器则可适用于非线性可分的情形。另外Ｋｅｌｌｅｒ

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新人文社科基于核的学习机研究综述(3)全文阅读和word下载服务。