机器学习的发展现状及其相关研究

机器学习的发展现状及其相关研究

摘要: 阐述了机器学习的概念及其研究现状, 讨论了其中的关键技术、难点及应用与发展前景, 并对机器学习研究中的有关问题提出一些看法.

关键词: 人工智能; 机器学习; 泛化 1 机器学习的发展现状

机器学习(machine learning)是继专家系统之后人工智能应用的又一重要研究领域, 也是人工智能和神经计算的核心研究课题之一. 机器学习是人工智能领域中较为年轻的分支, 其发展过程可分为4 个时期: 1)20 世纪50 年代中期到60 年代中期, 属于热烈时期; 2)60 年代中期至70 年代中期,被称为机器学习的冷静时期; 3)70 年代中期至80 年代中期, 称为复兴时4)1986 年开始是机器学习的最新阶段. 这个时期的机器学习具有如下特点: 机器学习已成为新的边缘学科并在高校成为一门独立课程; 融合了各种学习方法且形式多样的集成学习系统研究正在兴起; 机器学习与人工智能各种基础问题的统一性观点正在形成; 各种学习方法的应用范围不断扩大, 一部分应用研究成果已转化为商品; 与机器学习有关的学术活动空前活跃. 2 机器学习的概念、类型及特点 2.1 机器学习的基本概念

机器学习的研究主旨是使用计算机模拟人类的学习活动, 它是研究计算机识别现有知识、获取新知识、不断改善性能和实现自身完善的方法.机器学习的研究目标有3 个: 1)人类学习过程的认知模型; 2)通用学习算法; 3)构造面向任务的专用学习系统的方法.在图1 所示的学习系统基本模型中, 包含了4 个基本组成环节. 环境和知识库是以某种知识表示形式表达的信息的集合, 分别代表外界信息来源和系统所具有的知识; 环境向系统的学习环节提供某些信息, 而学习环节则利用这些信息对系统的知识库进行改进, 以提高系统执行环节完成任务的效能. “执行环节”根据知识库中的知识完成某种任务, 同时将获得的信息反馈给学习环节.

2.2 基于符号的机器学习

基于符号的机器学习, 是基于代表问题域中实体和关系的符号集合. 符号学习算法就是利用这些符号推出新颖、有效的一般规则, 规则同时也用这些符号进行表述.

1)变型空间搜索. 候选解排除算法依赖于变量空间这个概念, 是与训练实例一致的所有概念描述的集合. 这些算法有更多实

例可用于缩减变型空间的大小.

2)ID3 决策树归纳算法. ID3 与候选解排除算法一样, 由实例中归纳概念. 该算法在如下几方面具有优势: 对学到知识的表示; 控制计算复杂性的方法; 选择候选概念的启发式信息; 具处理有噪声数据的潜力.

3)归纳偏置和学习能力. 归纳偏置指学习程序用来限制概念空间或在这个空间中选择概念.

4)知识和学习. 传统的知识学习方法主要有机械式学习、指导式学习、归纳学习、类比学习和基于解释的学习.

5)无监督学习. 聚类问题是比较1 组未分类的物体和度量物体的相似性, 目标是将物体分成符 合某些质量标准的类别.

6)强化学习. 强化学习即设计算法将外界环境转化为最大化报酬量的方式.

2.3 连接主义的机器学习

连接主义方法是将知识表示为由小的个体处理单元组成的网络激活或者抑制状态模式. 受动物大脑结构的启发, 连接主义网络学习是通过训练数据修改网络结构和连接权值来实现的. 在连接系统中, 处理都是并行和分布式的, 没有符号系统中的符号处理. 领域中的模式被编码

成数字向量; 神经元之间的连接也被数字值所代替; 模式的转换也是数字操作的结果———通常用矩阵乘法. 设计者对于连

接系统结构的选择就构成系统的归纳偏置. 应用这些技术的算法和系统结构, 一般都使用训练的方法而不是直接的程序设计. 这也是这种方法最具优势之处.连接主义的机器学习方法主要有以下几种: 连接网络的基础, 感知学习, 反传学习, 竞争学习,Hebbian 一致性学习, 吸引子网络或记忆. 2.4 机器学习: 社会性和涌现性

涌现模型是受遗传和进化的启发而形成的. 遗传算法开始时有一组问题的候选解, 候选解根据它们解决问题的能力来进化: 只有适者生存, 并相互交换产生下一代解. 这样, 解得以不断地增强,就像达尔文所描述的现实世界的进化.涌现学习模型模仿了大自然中最优美和强大的植物与动物的生命演化形式. 它主要应用在遗传算法、分类器系统和遗传程序设计、人工生命与基于社会的学习等方面. 3 国内关于机器学习的研究现状

近年来, 国内对有关机器学习的研究发展较快, 主要表现在以下几个方面.

1)泛化能力的研究. 机器学习所关注的一个根本问题是如何提高学习系统的泛化能力, 或者说是机器在数据中发现的模式怎样才能具有良好的推广能力. 集成学习可以显著提高学习系统的泛化能力, 它因此曾被权威学者Dietterich 列为机器学习四大研究方向之首. 南京大学周志华教授长期从事人工智能中机器学习、数据挖掘、模式识别等方面的研究, 他的研究组在集