小白机器学习基础算法学习必经之路（上）

雨点打透心脏的1/2处 2022-10-02 00:45 23阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

**常见的机器学习算法**

以下是最常用的机器学习算法，大部分数据问题都可以通过它们解决：

> 1.线性回归 (Linear Regression)
> 
> 2.逻辑回归 (Logistic Regression)
> 
> 3.决策树 (Decision Tree)
> 
> 4.支持向量机（SVM）
> 
> 5.朴素贝叶斯 (Naive Bayes)
> 
> 6.K邻近算法（KNN）
> 
> 7.K-均值算法（K-means）
> 
> 8.随机森林 (Random Forest)
> 
> 9.降低维度算法（DimensionalityReduction Algorithms）
> 
> 10.GradientBoost和Adaboost算法

## 线性回归 (Linear Regression) ##

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。

最小二乘法是一种计算线性回归的方法。你可以把线性回归当做在一系列的点中画一条合适的直线的任务。有很多种方法可以实现这个，“最小二乘法”是这样做的 —你画一条线，然后为每个数据点测量点与线之间的垂直距离，并将这些全部相加，最终得到的拟合线将在这个相加的总距离上尽可能最小。

![线性回归][16782c02a70432d9_w_740_h_489_f_jpeg_s_27582]

逻辑回归 (Logistic Regression) 逻辑回归是一种强大的统计方法，它能建模出一个二项结果与一个（或多个）解释变量。它通过估算使用逻辑运算的概率，测量分类依赖变量和一个（或多个）\*\*的变量之间的关系，这是累积的逻辑分布情况。

![逻辑回归][16782c1090c455ea_w_600_h_337_f_jpeg_s_21764]

总的来说，逻辑回归可以用于以下几个真实应用场景：

*  信用评分
 *  测量营销活动的成功率
 *  预测某一产品的收入
 *  特定某一天是否会发生地震

## 决策树 (Decision Tree) ##

是一种基本的分类与回归方法，此处主要讨论分类的决策树。在分类问题中，表示基于特征对实例进行分类的过程，可以认为是if-then的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

决策树通常有三个步骤：特征选择、决策树的生成、决策树的修剪。

用决策树分类：从根节点开始，对实例的某一特征进行测试，根据测试结果将实例分配到其子节点，此时每个子节点对应着该特征的一个取值，如此递归的对实例进行测试并分配，直到到达叶节点，最后将实例分到叶节点的类中。

下图为决策树示意图，圆点——内部节点，方框——叶节点

![决策树][16782c17734362bf_w_258_h_190_f_png_s_8724]

*  决策树学习的目标：根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分类。
 *  决策树学习的本质：从训练集中归纳出一组分类规则，或者说是由训练数据集估计条件概率模型。
 *  决策树学习的损失函数：正则化的极大似然函数
 *  决策树学习的测试：最小化损失函数
 *  决策树学习的目标：在损失函数的意义下，选择最优决策树的问题。

决策树原理和问答猜测结果游戏相似，根据一系列数据，然后给出游戏的答案。

![决策树][16782c225e1c6a28_w_451_h_352_f_jpeg_s_20619]

上图为一个决策树流程图，正方形代表判断模块，椭圆代表终止模块，表示已经得出结论，可以终止运行，左右箭头叫做分支。决策树的优势在于数据形式非常容易理解。

## 支持向量机（SVM） ##

SVM有很多实现，但是本章只关注其中最流行的一种实现，即序列最小优化，在此之后，将介绍如何使用一种称为核函数（kernel)的方式将SVM扩展到更多数据集上。

支持向量机是一种二类分类算法，假设一个平面可以将所有的样本分为两类，位于正侧的样本为一类，值为+1，而位于负一侧的样本为另外一类，值为-1。虽然SVM本身是一个二类分类器，若要解决多类问题，需要修改SVM。

我们说分类，不仅仅是将不同的类别样本分隔开，还要以比较大的置信度来分隔这些样本，这样才能使绝大部分样本被分开。比如，我们想通过一个平面将两个类别的样本分开，如果这些样本是线性可分（或者近视线性可分），那么这样的平面有很多，但是如果我们加上要以最大的置信度来将这些样本分开，那么这样的平面只有一条。

**1.几何间隔**

几何间隔的概念，简单理解就是样本点到分隔平面的距离

**2 间隔最大化**

想要间隔最大化，我们必须找到距离分隔平面最近的点，并且使得距离平面最近的点尽可能的距离平面最远，这样，每一个样本就都能够以比较大的置信度被分隔开算法的分类预测能力也就越好 。显然，SVM算法的关键所在，就是找到使得间隔最大化的分隔超平面（如果特征是高维度的情况，我们称这样的平面为超平面）。简言之：最大化支持向量到超平面距离

优点：泛化错误率低，计算开销不大，结果易解释。 缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。 适用数据类型：数值型和标称型数据。

## 朴素贝叶斯 (Naive Bayes) ##

朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

优点：在数据较少的情况下仍然有效，可以处理多类别问题。 缺点：对于输入数据的准备方式较为敏感。 适用数据类型：标称型数据

它的现实使用例子有：

> 将一封电子邮件标记（或者不标记）为垃圾邮件
> 
> 将一篇新的文章归类到科技、\*\*或者运动
> 
> 检查一段文本表达的是积极情绪还是消极情绪
> 
> 脸部识别软件