【ML 吴恩达】8 建立决策树关键思想步骤

ゝ一世哀愁。 2022-12-25 05:56 145阅读 0赞

### 目录 ###

*  1 简介
 *  2 决策树学习算法步骤
 *  3 建立决策树

# 1 简介 #

决策树是依据树的结构来进行决策的，这恰好也是人类在面临决策问题时候很自然的处理机制。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70]

# 2 决策树学习算法步骤 #

（1）选择一个数据集中的属性choose an attribute from your dataset

（2）计算划分属性重要性Calculate the significance of attribute in splitting of data

（3）根据最佳属性划分数据Split data based on the value of the best attribute

（4）回到第一步重复Go to step 1

# 3 建立决策树 #

（1）选择最好的属性，需要引入熵  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 1]

**熵Entropy:** 它表示一个系系统在不受外部干扰时，其内部最稳定的状态.是随机性和不确定性的度量。熵越小，越是不均匀分布，节点更好。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 2]

（2）计算每个属性划分下的熵值，再引入信息增益  
当选择Choleserol属性作为划分时，分别计算熵值。Nomal 和High的熵值分别是0.811、1。熵的计算是有专门的工具箱计算的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 3]

当选择Sex属性作为划分时，Fmale和Male的熵值分别是0.985、0.592。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 4]

如何根据熵值选择属性，需要引入信息增益（Information Gain）  
信息增益：是在划分属性后能够增加确定性的信息。信息增益 = （划分前熵值）-（划分后熵）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 5]

（3）计算信息增益，选择信息增益较大的作为划分属性。以下sex属性划分时候的信息增益是0.151，Cholesterol的信息增益是0.048。选择较大增益Sex的属性作为决策树的下一个节点。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 6]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70]: /images/20221120/80ebda310986424a8bdbbcb542143dc8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 1]: /images/20221120/8c9f65c740f0453393e7f649b521b3ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 2]: /images/20221120/3fa6c720fbaa44b59036a11346cc1305.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 3]: /images/20221120/6b5a0de35f5a4997bbb675b2db7748da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 4]: /images/20221120/419780c8d6294fae8df093e05996aadf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 5]: /images/20221120/26c62aba86f544c993847b5580d0def4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTY5Ng_size_16_color_FFFFFF_t_70 6]: /images/20221120/adce344a8a86451681bfb3281f47d572.png