基于核的学习机研究综述

研究综述

第２７卷第６期计算机应用研究

Ｖ０１．２７Ｎｏ．６

２０１０年６月

ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ

Ｊｕｎ．２０１０

基于核的学习机研究综述木

王涛，李艾华，蔡艳平，王声才

（第二炮兵工程学院机械电子工程系，西安７１００２５）

摘要：近年来核学习机已经成为机器学习界的一个热点问题，并在许多领域中得到了成功应用；然而作为一种尚未成熟的新技术，核学习机仍然存在很多局限性。介绍了核方法的基本思想，从有监督和无监督学习算法两方面对基于核的学习机进行了梳理，着重指出了核学习机研究中存在的问题和值得关注的研究方向，以期对核方法研究领域有较全面的把握。

关键词：核方法；有监督学习算法；无监督学习算法；支持向量机中图分类号：ＴＰｌ８

文献标志码：Ａ

文章编号：１００１．３６９５（２０ＬＯ）０６．２０１１．０５

ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３６９５．２０１０．０６．００３

Ｋｅｒｎｅｌ－ｂａｓｅｄｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓｒｅｓｅａｒｃｈｏｖｅｒｖｉｅｗ

ＷＡＮＧＴａｏ，ＬＩＡｉ—ｈｕａ，ＣＡＩＹａｈ－ｐｉｎｇ，ＷＡＮＧＳｈｅｎｇ－ｃａｉ

（Ｄｅｐｔ．ｏｆＭｅｃｈａｎｉｃａｌ＆Ｅｌｅｃｔｒｏｎｉｃ，ＴｈｅＳｅｃｏｎｄＡｎｄｌｅｒｙ

Ｅｎｇｉｎｅｅｒｉｎｇ

Ｃｏｌｌｅｇｅ，藏’∞７１００２５，Ｃｈ／ｎａ）

Ａｂｓｔｒａｃｔ：ＩｔｉｓｂｅｌｉｅｖｅｄｔｈａｔｔｈｅｓｔｕｄｙｏｆｋｅｒｎｅｌｍｅｔｈｏｄｓｉＳ

ｂｅｃｏｍｉｎｇ

ａｎｅｗｈｏｔ

ａｒｅａ

ｉｎｔｈｅｆｉｅｌｄｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇｒｅｃｅｎｔｌｙ．

Ｋｅｍｅｌｍｅｔｈｏｄｓｈａｖｅｂｅｅｎａｐｐｌｉｅｄｉｎｍａｎｙｆｉｅｌｄｓｓｕｃｃｅｓｓｆｕｌｌｙ．Ｂｕｔ船ａＨｅｗｔｅｃｈｎｉｑｕｅ．ｔｈｅｒｅａｒｅｓｔｉｌｌｐｌｅｎｔｙｏｆｌｉｍｉｔａｔｉｏｎｓｉｎｋｅｒｎｅｌ—ｂａｓｅｄｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓ．１１ｌｉｓｐａｐｅｒｆｉｒｓｔｌｙａｎａｌｙｚｅｄｔｈｅｂａｓｉｃｉｄｅａｓｏｆｋｅｒｎｅｌ—ｂａｓｅｄｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓｔｈｅｎｐｒｏｖｉｄｅｄ锄

ｉｎｔｒｏｄｕｃｔｉｏｎｔｏ

ｓｏｍｅｋｉｎｄｓｏｆｋｅｒｎｅｌｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓｄｅｖｅｌｏｐｅｄｒｅｃｅｎｔｌｙｆｒｏｍ

ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｎｄｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ．

Ｐｏｉｎｔｅｄ

ｏｕｔ

ｔｈｅｋｅｙｉｓｓｕｅｓａｎｄｔｈｅｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓ

ｏｎ

ｋｅｒｎｅｌｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓ

ｆｉｎａｌｌｙ．Ｉｔｉｓｅｘｐｅｃｔｅｄ

ｔｏ

ｕｎｄｅｒｓｔａｎｄ

ｋｅｒｎｅｌｍｅｔｈｏｄｓｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙ．

Ｋｅｙｗｏｒｄｓ：ｋｅｒｎｅｌｍｅｔｈｏｄｓ；ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ；ｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ；ｓｕｐｐｏｒｔ

ｖｅｃｔｏｒｍａｃｈｉｎｅ

引言

１

核方法的理论基础

统计学习理论（ｓｔａｔｉｓｔｉｃａｌｌｅａｒｎｉｎｇｔｈｅｏｒｙ，ＳＬＴ）是一种专门

１．１核方法的基本原理

的小样本统计理论，是Ｖａｐｎｉｋ…针对有限样本下的机器学习核方法的基本原理‘３１如图１所示。

问题的研究成果。１９９５年，Ｖａｐｎｉｋ等人口１在此基础上又发展输入空间Ｒ

特征空间，

出了一种新的模式识别方法——支持向量机（ｓｕｐｐｏｒｔ

ｖｅｃｔｏｒ

ｍａｃｈｉｎｅ，ＳＶＭ），在解决小样本、非线性以及高维模式识别问题中表现出许多优势，并能够推广应用到函数拟合等其他机器学习问题中。ＳＶＭ最初是从线性可分情况下的最优分类面提出的，针对线性不可分的情况，它通过引入核函数实现了线性到非线性之间的变换，同时回避了维数灾难，也没有增加计算复杂度。借鉴这一思想，研究者们对一些只涉及样本间内积运算图１核空间的基本理论

的机器学习方法进行了改造，用事先定义的核函数取代内积，通过一个非线性映射函数妒（并）可将输入空间刖映射到高得到了与该学习方法对应的核方法（ｋｅｒｎｅｌｍｅｔｈｏｄ，ＫＭ）。核维特征空间Ｆ，从而使得输入空间中的非线性或线性不可分问方法或称核学习机是基于核函数的机器学习方法的简称【３Ｊ。题在特征空间中能够进行线性分类。其中，映射函数妒（茗）定核方法作为一种由线性到非线性之间的桥梁，本身并不是一门义为

新技术，而是起源于２０世纪初叶ＭｅｒｃｅｒＨ３发表的经典论文，其ｐ（ｘ）：¨，，ｘＥ冠

（１）

在模式识别中的应用可追溯到１９６４年”１。然而直到近年来，但由于计算复杂度和存储空间的限制，使得在特征空间，随着统计学习理论和支持向量机成为国际上机器学习领域中

中直接寻找分类面的问题无法进行。核方法利用核函数Ｋ（菇，堑盟堡究热点，核方法才日益受到研究人员的重视№栅］。

，，）为解决该问题提供了一种可行的思路。核函数定义为

收稿日期：２００９．０９—２７；修回日期：２０１０ Ｏｌ ０４

基金项目：总装备部重点国防预研项目（４０３０４０１０２）

作者简介：王涛（１９７７．）．陕西宝鸡人，男。讲师，博士研究生，主要研究方向为故障诊断、统计模式识别（ｔａｏｔａｏｗａｎ９０９２７＠ｓｉｎａ．ｃｏｒｎ）等；李艾华（１９６６－），男，教授，博士。主要研究方向为自动检测、设备状态监测与故障诊断、健康管理等；蔡艳平（１９８２．），男，博士研究生。主要研究方向为信号处理、机械设备状态监测与故障诊断等；王声才（１９８０一），男，博士研究生，主要研究方向为模式识；ｑ及其在机械设备状态监测与故障诊断中的应用等．

０

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新人文社科基于核的学习机研究综述全文阅读和word下载服务。