基于分类规则的C4_5决策树改进算法_李孝伟(7)

。

ｉｍＮ）＝ｐ（

ｗ）Ｐ（ｗ）＝１－∑Ｐ∑Ｐ（

ｉ

ｊ

ｉｊ≠

ｊ

２

）（１２ｗｊ）（

其中Ｐ（是节点Ｎ处属于ｗｗｊ）ｊ类样本数占总样本数的比例。显然如果所有样本都属于一类，则不纯度为０，否则就是一个大于０的正值。

２．４　基于分类规则选取的Ｃ４．５决策树改进算法

本文提出的基于分类规则选取的Ｃ４．５决策树改进算法（ｉｍｒｏｖｅｄＣ４．５ｄｅｃｉｓｉｏｎｔｒｅｅａｌｏｒｉｔｈｍｂａｓｅｄｏｎｃｌａｓｓｉｆｉｃａ　　　　　　－ｐｇ，），在训练阶段以第一节提出分ｔｉｏｎｒｕｌｅｓｓｅｌｅｃｔｉｏｎＣＲＣ４．５　　类规则选取策略，在构建决策树选取最优特征上以第二节提出的划分相似度为基础建立Ｃ４．５决策树。具体算法流程如下：

（）运用划分相似度对训练样本各特征进行排序，选１

择有最大划分相似度的特征作为根节点，以后节点以此类推；

（）选定训练样本数目，并对对样本进行有放回的多２

次抽样，运用划分相似度训练分类规则，取多次抽样下分类规则中最优的特征值回溯作为最终分类规则；

）根据最优的分类规则建立最优的决策树，并对测（３

试集进行测试，最后输出分类模型。

３　实验及分析

３．１　实验平台和数据集介绍

图２　不同抽样次数下算法性能比较

经过实验，各数据集下训练集样本迭代次数见表２。Ｃ４．５算法和本文算法的模型建立时间和分类正确率对比如图３、图４所示。其中，Ｃ４．５采用多次次迭代交叉验证的方法。

本文采用Ｗｅｋａ平台对改进的算法和Ｃ４．５算法进行对比测试。Ｗｅｋａ是由新西兰大学Ｗｉｔｔｅｎ教授等人基于Ｊａｖａ编程开发的开源工作平台，它集合了包括对数据进行分类、

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新经管营销基于分类规则的C4_5决策树改进算法_李孝伟(7)全文阅读和word下载服务。