用决策树方法对手写数字的识别

决策树的matlab实现（运用在手写数字的0，1识别）

[1]单个决策树的实现。

一、载入实验数据 %载入实验的原始数据

images = loadMNISTImages('train-images.idx3-ubyte'); labels = loadMNISTLabels('train-labels.idx1-ubyte'); images_0=images(:,labels==0); images_1=images(:,labels==1);

Images_te = loadMNISTImages('t10k-images.idx3-ubyte'); Labels_te = loadMNISTLabels('t10k-labels.idx1-ubyte'); Images_te_0=Images_te(:,Labels_te==0); Images_te_1=Images_te(:,Labels_te==1); %对原始数据进行处理

X=[images_0 images_1]'; %将0和1的训练样本拼接成新的矩阵。注意此时时是每一行代表一个样本。

Y=[zeros(5923,1) ones(6724,1)]; %生成训练样本相应的类别标签，是一个列向量。每一个元素代表相应 样本所属于的类别。

Images_te_0=Images_te_0'; %测试样本的数字0，每一行代表一个样本。 Images_te_1=Images_te_1'; % 测试样本的数字1，每一行代表一个样本.

二、构建决策树 t=treefit(X,Y);

% X是训练样本，一定注意是每一行代表一个样本数据。Y是训练样本

% 所对应的类别标签，仍旧是一个列向量。t就是根据训练样本构建的一个决策树。

三、用决策树对测试样本进行分类 result0=treeval(t,Images_te_0');

% 对测试样本手写数字0进行识别。result0为一个列向量，每一元素表示对应样本被识别为的类。

%treeval函数的格式为treeval(t,X)，其中，t为构建的决策树，X为测试样本。一定要注意X的每一行表示的是一个样本。

result1=treeval(t,Images_te_1'); %对测试样本数字1进行分类。

四、错误率分析

error0=find(result~=0);

error1=find(result~=1); %找出被识别错误的数字0和1的索引。

rate0=size(error0,1)/980;

rate1=size(error1,1)/980; %分别计算错误率。

实验结果为

rate1= 0.007048458149780 rate0= 0.004081632653061

可以看到正确几乎接近100%

五、显示决策树

treedisp(t);或者是view(t); 如下：

六、对决策树进行剪枝

在对决策树进行剪枝之前，我们需要计算交叉验证的最小错误率水平。具体过程为：

我们计算不同k值下的k-fold cv ，找出错误率最小的那个k值。在matlab上的实现是用我自己编写的trcv函数做的。如下： k=trcv(10,X',Y);

找到了k，我们就按照这个k值来对我们建立的决策树进行剪枝。用函数prune实现。如下： tree_new=prune(t,'level',k);

实现结果为： k=4；

view(tree_new)的结果如下

我们发现经过剪枝，决策树变得简单许多。下面我们可以用这棵新树对测试样本进行测试。在此就不再做了。

[2]用随机森林来实现

我自己编写了一个随机遇森林函数rf，用它可以直接实现。实现过程如下：

labels0_te=zeros(980,1); %载入测试样本的标签

[w,err]=rf(X',Y,Images_te_0,labels0_te,5);

最后的错误率为err=0.001.比之前0.004提高很多。我们find(w~=0); 发现只有一个样本被识别错误而已。