MATLAB机器学习系列-9：决策树和随机森林的原理及其例子代码实现

快来打我* 2022-11-21 09:42 595阅读 0赞

## 决策树 ##

原理  
![2020103109183526.png_pic_center][]

*  决策树通过把样本实例从根节点排列到某个叶子节点来对其进  
    行分类。树上的每个非叶子节点代表对一个属性取值的测试，  
    其分支就代表测试的每个结果；而树上的每个叶子节点均代表  
    一个分类的类别，树的最高层节点是根节点。
 *  简单地说，决策树就是一个类似流程图的树形结构，采用自顶  
    向下的递归方式，从树的根节点开始，在它的内部节点上进行  
    属性值的测试比较，然后按照给定实例的属性值确定对应的分  
    支，最后在决策树的叶子节点得到结论。这个过程在以新的节  
    点为根的子树上重复。

ID3  
![20201031092338704.png_pic_center][]

![20201031092604663.png_pic_center][]

熵：描述的不确定性因素（等于样本种类数越多）越大，熵值就越大。如果不确定性因素太小（如只有一个类别）则熵等于0。

信息增益：=原始熵-根据某个属性确定得到的新的熵。  
信息增益越大，则表明这个属性包括的信息越多。  
原始熵是不考虑任何属性，直接计算正力负例的熵（以二分类为例），  
然后根据某一属性，计算这个属性下有哪些正例负例，再计算一次熵。两者相减即得到信息增益。

C4.5  
![20201031093750437.png_pic_center][]

信息增益算法有一个缺陷，会倾向于选择属性值较多的属性。如果样本中有姓名这个属性，因为人的名字不同，信息增益可能会根据名字来分类，这时不科学的。  
![20201031094636225.png_pic_center][]

CART  
基尼指数是另外一种数据的不纯度的度量方法，其定义如下：  
![20201031095501980.png_pic_center][]

其中的m仍然表示数据集D中类别C的个数，Pi表示D中任意一个记录属于Ci的概率，计算时Pi=(D中属于Ci类的集合的记录个数/|D|)。如果所有的记录都属于同一个类中，则P1=1，Gini(D)=0，此时不纯度最低。在CART(Classification and Regression Tree)算法中利用基尼指数构造二叉决策树，对每个属性都会枚举其属性的非空真子集，以属性R分裂后的基尼系数为：  
![20201031095545988.png_pic_center][]

D1为D的一个非空真子集，D2为D1在D的补集，即D1+D2=D，对于属性R来说，有多个真子集，即GiniR(D)有多个值，但我们选取最小的那么值作为R的基尼指数。最后：  
![20201031095618516.png_pic_center][]  
Gini®增量最大的属性作为最佳分裂属性。

决策树算法优缺点  
优点

*  决策树易于理解和实现。 人们在通过解释后都有能力去理解决策树所表达的意义。
 *  对于决策树，数据的准备往往是简单或者是不必要的。其他的技术往往要求先把数据归一化，比如去掉多余的或者空白的属性。
 *  能够同时处理数据型和常规型属性。 其他的技术往往要求数据属性的单一。
 *  是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

缺点

*  对于各类别样本数量不一致的数据，在决策树当中信息增益的结果偏向于那些具有更多数值的特征。
 *  决策树内部节点的判别具有明确性，这种明确性可能会带来误导。

## 随机森林 ##

![20201031100049981.png_pic_center][] ![20201031100127210.png_pic_center][] ![20201031100205496.png_pic_center][]

## 决策树代码 ##

决策树-乳腺癌诊断

在这里插入代码片

%% I. 清空环境变量
    clear all
    clc
    warning off
    
    %% II. 导入数据
    load data.mat
    
    %%
    % 1. 随机产生训练集/测试集
    a = randperm(569);
    Train = data(a(1:500),:);
    Test = data(a(501:end),:);
    
    %%
    % 2. 训练数据
    P_train = Train(:,3:end);
    T_train = Train(:,2);
    
    %%
    % 3. 测试数据
    P_test = Test(:,3:end);
    T_test = Test(:,2);
    
    %% III. 创建决策树分类器
    ctree = ClassificationTree.fit(P_train,T_train);
    
    %%
    % 1. 查看决策树视图
    view(ctree);
    view(ctree,'mode','graph');
    
    %% IV. 仿真测试
    T_sim = predict(ctree,P_test);
    
    %% V. 结果分析
    count_B = length(find(T_train == 1));
    count_M = length(find(T_train == 2));
    rate_B = count_B / 500;
    rate_M = count_M / 500;
    total_B = length(find(data(:,2) == 1));
    total_M = length(find(data(:,2) == 2));
    number_B = length(find(T_test == 1));
    number_M = length(find(T_test == 2));
    number_B_sim = length(find(T_sim == 1 & T_test == 1));
    number_M_sim = length(find(T_sim == 2 & T_test == 2));
    disp(['病例总数：' num2str(569)...
          ' 良性：' num2str(total_B)...
          ' 恶性：' num2str(total_M)]);
    disp(['训练集病例总数：' num2str(500)...
          ' 良性：' num2str(count_B)...
          ' 恶性：' num2str(count_M)]);
    disp(['测试集病例总数：' num2str(69)...
          ' 良性：' num2str(number_B)...
          ' 恶性：' num2str(number_M)]);
    disp(['良性乳腺肿瘤确诊：' num2str(number_B_sim)...
          ' 误诊：' num2str(number_B - number_B_sim)...
          ' 确诊率p1=' num2str(number_B_sim/number_B*100) '%']);
    disp(['恶性乳腺肿瘤确诊：' num2str(number_M_sim)...
          ' 误诊：' num2str(number_M - number_M_sim)...
          ' 确诊率p2=' num2str(number_M_sim/number_M*100) '%']);
      
    %% VI. 叶子节点含有的最小样本数对决策树性能的影响
    leafs = logspace(1,2,10);
    
    N = numel(leafs);
    
    err = zeros(N,1);
    for n = 1:N
        t = ClassificationTree.fit(P_train,T_train,'crossval','on','minleaf',leafs(n));
        err(n) = kfoldLoss(t);
    end
    plot(leafs,err);
    xlabel('叶子节点含有的最小样本数');
    ylabel('交叉验证误差');
    title('叶子节点含有的最小样本数对决策树性能的影响')
    
    %% VII. 设置minleaf为13，产生优化决策树
    OptimalTree = ClassificationTree.fit(P_train,T_train,'minleaf',13);
    view(OptimalTree,'mode','graph')
    
    %%
    % 1. 计算优化后决策树的重采样误差和交叉验证误差
    resubOpt = resubLoss(OptimalTree)
    lossOpt = kfoldLoss(crossval(OptimalTree))
    
    %%
    % 2. 计算优化前决策树的重采样误差和交叉验证误差
    resubDefault = resubLoss(ctree)
    lossDefault = kfoldLoss(crossval(ctree))
    
    %% VIII. 剪枝
    [~,~,~,bestlevel] = cvLoss(ctree,'subtrees','all','treesize','min')
    cptree = prune(ctree,'Level',bestlevel);
    view(cptree,'mode','graph')
    
    %%
    % 1. 计算剪枝后决策树的重采样误差和交叉验证误差
    resubPrune = resubLoss(cptree)
    lossPrune = kfoldLoss(crossval(cptree))

![20201031103201112.png_pic_center][] ![20201031103245352.png_pic_center][] ![2020103110332217.png_pic_center][] ![20201031103349378.png_pic_center][] ![202010311034208.png_pic_center][]

## 随机森林代码 ##

%% I. 清空环境变量
    clear all
    clc
    warning off
    
    %% II. 导入数据
    load data.mat
    
    %%
    % 1. 随机产生训练集/测试集
    a = randperm(569);
    Train = data(a(1:500),:);
    Test = data(a(501:end),:);
    
    %%
    % 2. 训练数据
    P_train = Train(:,3:end);
    T_train = Train(:,2);
    
    %%
    % 3. 测试数据
    P_test = Test(:,3:end);
    T_test = Test(:,2);
    
    %% III. 创建随机森林分类器
    model = classRF_train(P_train,T_train);
    
    %% IV. 仿真测试
    [T_sim,votes] = classRF_predict(P_test,model);
    
    %% V. 结果分析
    count_B = length(find(T_train == 1));
    count_M = length(find(T_train == 2));
    total_B = length(find(data(:,2) == 1));
    total_M = length(find(data(:,2) == 2));
    number_B = length(find(T_test == 1));
    number_M = length(find(T_test == 2));
    number_B_sim = length(find(T_sim == 1 & T_test == 1));
    number_M_sim = length(find(T_sim == 2 & T_test == 2));
    disp(['病例总数：' num2str(569)...
          ' 良性：' num2str(total_B)...
          ' 恶性：' num2str(total_M)]);
    disp(['训练集病例总数：' num2str(500)...
          ' 良性：' num2str(count_B)...
          ' 恶性：' num2str(count_M)]);
    disp(['测试集病例总数：' num2str(69)...
          ' 良性：' num2str(number_B)...
          ' 恶性：' num2str(number_M)]);
    disp(['良性乳腺肿瘤确诊：' num2str(number_B_sim)...
          ' 误诊：' num2str(number_B - number_B_sim)...
          ' 确诊率p1=' num2str(number_B_sim/number_B*100) '%']);
    disp(['恶性乳腺肿瘤确诊：' num2str(number_M_sim)...
          ' 误诊：' num2str(number_M - number_M_sim)...
          ' 确诊率p2=' num2str(number_M_sim/number_M*100) '%']);
      
    %% VI. 绘图
    figure
    
    index = find(T_sim ~= T_test);
    plot(votes(index,1),votes(index,2),'r*')
    hold on
    
    index = find(T_sim == T_test);
    plot(votes(index,1),votes(index,2),'bo')
    hold on
    
    legend('错误分类样本','正确分类样本')
    
    plot(0:500,500:-1:0,'r-.')
    hold on
    
    plot(0:500,0:500,'r-.')
    hold on
    
    line([100 400 400 100 100],[100 100 400 400 100])
    
    xlabel('输出为类别1的决策树棵数')
    ylabel('输出为类别2的决策树棵数')
    title('随机森林分类器性能分析')
    
    
    %% VII. 随机森林中决策树棵数对性能的影响
    Accuracy = zeros(1,20);
    for i = 50:50:1000
        i
        %每种情况，运行100次，取平均值
        accuracy = zeros(1,100);
        for k = 1:100
            % 创建随机森林
            model = classRF_train(P_train,T_train,i);
            % 仿真测试
            T_sim = classRF_predict(P_test,model);
            accuracy(k) = length(find(T_sim == T_test)) / length(T_test);
        end
         Accuracy(i/50) = mean(accuracy);
    end
    
    %%
    % 1. 绘图
    figure
    plot(50:50:1000,Accuracy)
    xlabel('随机森林中决策树棵数')
    ylabel('分类正确率')
    title('随机森林中决策树棵数对性能的影响')

![20201031104117797.png_pic_center][]

代码和数据百度云

链接：https://pan.baidu.com/s/1rGGk-t55BcgaRg3tDGAqzQ 
    提取码：egs5 
    复制这段内容后打开百度网盘手机App，操作更方便哦

![在这里插入图片描述][20201031104608485.jpg_pic_center]

作者：电气工程的计算机萌新-余登武  
![在这里插入图片描述][2020103110481470.gif_pic_center]

[2020103109183526.png_pic_center]: /images/20221120/e57bb80138ef4b23acb39f8242e261de.png
[20201031092338704.png_pic_center]: /images/20221120/f2ec3ce363804be28fee33098d24b20a.png
[20201031092604663.png_pic_center]: /images/20221120/72c7aa945a5941c1a26a0d238f83ad47.png
[20201031093750437.png_pic_center]: /images/20221120/8f083b024dcc4a76800c11ead7a27f34.png
[20201031094636225.png_pic_center]: /images/20221120/d54f127eba4c403a9a5830009f2210f8.png
[20201031095501980.png_pic_center]: /images/20221120/012ecad3c1ff4718969a7307d0705309.png
[20201031095545988.png_pic_center]: /images/20221120/dc372b13b7904d9193d81d804c13e1a0.png
[20201031095618516.png_pic_center]: /images/20221120/8a0c07758b4b45f686843bc323720cfa.png
[20201031100049981.png_pic_center]: https://img-blog.csdnimg.cn/20201031100049981.png#pic_center
[20201031100127210.png_pic_center]: https://img-blog.csdnimg.cn/20201031100127210.png#pic_center
[20201031100205496.png_pic_center]: /images/20221120/3de4dd1e55af423784389f1ce3da5123.png
[20201031103201112.png_pic_center]: https://img-blog.csdnimg.cn/20201031103201112.png#pic_center
[20201031103245352.png_pic_center]: https://img-blog.csdnimg.cn/20201031103245352.png#pic_center
[2020103110332217.png_pic_center]: https://img-blog.csdnimg.cn/2020103110332217.png#pic_center
[20201031103349378.png_pic_center]: https://img-blog.csdnimg.cn/20201031103349378.png#pic_center
[202010311034208.png_pic_center]: /images/20221120/ffc6cc0f921743baa1eafd5bbf5eafb9.png
[20201031104117797.png_pic_center]: /images/20221120/f12299c20e4642c3aa425ce7dc4d4dba.png
[20201031104608485.jpg_pic_center]: https://img-blog.csdnimg.cn/20201031104608485.jpg#pic_center
[2020103110481470.gif_pic_center]: https://img-blog.csdnimg.cn/2020103110481470.gif#pic_center