机器学习笔记（1）——决策树

朱雀 2022-06-11 04:38 210阅读 0赞

机器学习中分类和预测算法的评估：

准确率

速度

强壮性

可规模型

可解释性

决策树

决策树是一个类似于流程图的结构

节点表示判断，将连续变量离散化，规定阈值归类

信息熵：变量的的不确定性越大，熵也就越大

计算公式：

P(x)为单个事件的概率

决策树归纳算法（ID3）

选择属性判断结点

信息获取量(Information Gain)：Gain(A) = Info(D) -Infor\_A(D)

通过A来作为节点分类获取了多少信息

选择信息获取量最大的属性作为根节点，重复此过程直到所有结果都属于同一个类。

算法：

· 树以代表训练样本的单个结点开始（步骤1）。

· 如果样本都在同一个类，则该结点成为树叶，并用该类标号（步骤2 和3）。

· 否则，算法使用称为信息增益的基于熵的度量作为启发信息，选择能够最好地将样本分类的属性（步骤6）。该属性成为该结点的“测试”或“判定”属性（步骤7）。在算法的该版本中，

· 所有的属性都是分类的，即离散值。连续属性必须离散化。

· 对测试属性的每个已知的值，创建一个分枝，并据此划分样本（步骤8-10）。

· 算法使用同样的过程，递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上，就不必该结点的任何后代上考虑它（步骤13）。

· 递归划分步骤仅当下列条件之一成立停止：

· (a) 给定结点的所有样本属于同一类（步骤2 和3）。

· (b) 没有剩余属性可以用来进一步划分样本（步骤4）。在此情况下，使用多数表决（步骤5）。

· 这涉及将给定的结点转换成树叶，并用样本中的多数所在的类标记它。替换地，可以存放结

· 点样本的类分布。

· (c) 分枝

· test\_attribute = a i 没有样本（步骤11）。在这种情况下，以 samples 中的多数类

· 创建一个树叶（步骤12）

特点：贪心算法，自上而下

其他算法：C4.5,CART（选择属性的度量方法不同

树剪枝叶：先剪枝，后剪枝

优点：直观、便于理解、小规模数据集有效

缺点：处理连续变量不好、类别较多时错误增加较快、可规模性一般

Python机器学习的库：sickit-learn

特性：

简单高效的数据挖掘和机器学习分析

对所有用户开放，根据不同需求高度可重用性

基于Numpy, SciPy和matplotlib

开源，商用级别：获得 BSD许可

覆盖问题领域：

分类（classification), 回归（regression), 聚类（clustering), 降维(dimensionalityreduction)

模型选择(model selection), 预处理(preprocessing)

使用用scikit-learn

安装scikit-learn: pip,easy\_install, windows installer

安装必要package：numpy， SciPy和matplotlib， 可使用Anaconda (包含numpy, scipy等科学计算常用

package）

安装注意问题：Python解释器版本（2.7 or3.4？）, 32-bit or 64-bit系统

发表评论取消回复

表情：

评论列表（有 0 条评论，210人围观）

还没有评论，来说两句吧...

相关阅读

相关机器学习——决策树

转载： https://cuijiahua.com/blog/2017/11/ml\_2\_decision\_tree\_1.html https://cuijiah

我不是女神ヾ/ 2023年06月30日 01:50/ 0 赞/ 11 阅读

相关机器学习实战之决策树算法笔记

简介决策树类似于下图这种if-then 结构的判断算法。 ![1624355-20190811161504072-766229775.png][] 必要的数学概

╰半夏微凉°/ 2023年06月02日 15:58/ 0 赞/ 11 阅读

相关机器学习之决策树笔记(1)-决策树基本概念及划分选择标准

机器学习之决策树笔记（1）基本概念什么是决策树决策树结构特点决策树学习的目的决策树学习基本算法

我会带着你远行/ 2023年05月30日 09:27/ 0 赞/ 8 阅读

相关《机器学习实战》笔记（03）：决策树

决策树 ![decision tree][] kNN算法可以完成很多分类任务，但是它最大的缺点就是给出数据的内在含义，决策树的主要优势就在于数据形式非常容易理解决

电玩女神/ 2022年11月27日 15:46/ 0 赞/ 250 阅读

相关【机器学习实战】学习笔记 | 决策树

分类决策树：由节点和有向边组成。结点有两种类型：内部结点和叶子结点。内部结点表示一个特征或者属性，叶结点表示一个类（也就是最终决定结果）构建决策树： 1 特征

我会带着你远行/ 2022年11月21日 01:24/ 0 赞/ 251 阅读

相关机器学习笔记（1）——决策树

机器学习中分类和预测算法的评估：准确率速度强壮性可规模型可解释性决策树决策树是一个类似于流程图的结构节点表示判断，将连续变量离散化，规定阈值归类

朱雀/ 2022年06月11日 04:38/ 0 赞/ 211 阅读

相关机器学习-决策树

此文章是《Machine Learning in Action》中决策树章节的学习笔记，决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，在这些机器根据数据集创建规

深藏阁楼爱情的钟/ 2022年05月31日 07:15/ 0 赞/ 428 阅读

相关机器学习---决策树

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

谁借莪１个温暖的怀抱￠/ 2022年03月19日 10:26/ 0 赞/ 372 阅读

相关机器学习—决策树

决策树算法的两个阶段 ![决策树算法的两个阶段][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly

àì夳堔傛蜴生んèń/ 2022年02月05日 01:41/ 0 赞/ 679 阅读

相关机器学习and决策树学习笔记

![Image 1][] 在 IBM Bluemix 云平台上开发并部署您的下一个应用。 [开始您的试用][Link 1] 机器学习概念机器学习 (Ma

- 日理万妓/ 2021年09月22日 05:42/ 0 赞/ 414 阅读