机器学习笔记之SVM（SVR）算法

àì夳堔傛蜴生んèń 2022-06-17 06:46 472阅读 0赞

学过SVM后，看了那么多别人的文章，是时候自己总结一波了。权当写的笔记供自己日后再回顾吧。  
PS:结合自己在工作过程中（我这里用SVR做股票预测）用到的知识来写的，不会很全面，若有些知识这里没提及读者可自行查找。  
**1 概述**  
支持向量机(support vector machine)是一种分类算法，但是也可以做回归，根据输入的数据不同可做不同的模型（若输入标签为连续值则做回归，若输入标签为分类值则用SVC()做分类）。通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

SVM算法的优缺点：  
SVM算法优点区  
• 可用于线性/非线性分类，也可以用于回归；  
• 低泛化误差；  
• 容易解释；  
• 计算复杂度较低；  
• 可以解决高维问题；  
缺点区  
• 对参数和核函数的选择比较敏感；  
• 原始的SVM只比较擅长处理二分类问题；  
**SVM属于监督学习算法，监督学习流程如图所示：**  
![这里写图片描述][SouthEast]

**2 算法原理**  
2-1 在n维空间中找到一个分类超平面，将空间上的点分类。如下图是线性分类的例子。  
![这里写图片描述][SouthEast 1]  
图 2-1-1 线性分类的例子  
2-2. 一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。SVM就是要最大化这个间隔值。而在虚线上的点便叫做支持向量Supprot Verctor。如图4-1-1-2所示：  
![这里写图片描述][SouthEast 2]  
图2-1-1-2 支持向量的标识图  
2-3. 实际中，我们会经常遇到线性不可分的样例，此时，我们的常用做法是把样例特征映射到高维空间中去如图4-1-1-3所示：  
![这里写图片描述][SouthEast 3]  
图2-1-1-3 对于线性不可分数据的处理方法  
**3 数据处理**  
preprocessing.scale()作用：  
scale()是用来对原始样本进行缩放的，范围可以自己定，一般是\[0,1\]或\[-1,1\]。  
缩放的目的主要是  
1）防止某个特征过大或过小，从而在训练中起的作用不平衡；  
2）为了计算速度。因为在核计算中，会用到内积运算或exp运算，不平衡的数据可能造成计算困难。

**4 SVR参数选择**  
对于SVM算法，我们首先导入sklearn.svm中的SVR模块。SVR()就是SVM算法来做回归用的方法（即输入标签是连续值的时候要用的方法），通过以下语句来确定SVR的模式（选取比较重要的几个参数进行测试。随机选取一只股票开始相关参数选择的测试）。  
svr = SVR(kernel=’rbf’, C=1e3, gamma=0.01)

**4-1. kernel:核函数的类型**，一般常用的有’rbf’，’linear’，’poly’，等如图4-1-2-1所示，发现使用rbf参数时函数模型的拟合效果最好。  
![这里写图片描述][SouthEast 4]  
图4-1-2-1 函数参数“Linear”,“RBF”,“Poly”对模型的拟合效果图”

**4-2. C:惩罚因子**。C表征你有多么重视离群点，C越大越重视，越不想丢掉它们。C值大时对误差分类的惩罚增大，C值小时对误差分类的惩罚减小。当C越大，趋近无穷的时候，表示不允许分类误差的存在，margin越小，容易过拟合；当C趋于0时，表示我们不再关注分类是否正确，只要求margin越大，容易欠拟合。如图4-1-2-2所示发现当使用1e3时最为适宜。  
![这里写图片描述][SouthEast 5]  
图 4-1-2-2 参数C与准确度的关系图

**4-3. gamma:** 是’rbf’，’poly’和’sigmoid’的核系数且gamma的值必须大于0。随着gamma的增大，存在对于测试集分类效果差而对训练分类效果好的情况，并且容易泛化误差出现过拟合。如图4-1-2-3所示发现gamma=0.01时准确度最高。  
![这里写图片描述][SouthEast 6]  
图4-1-2-3 参数gamma与准确度的关系图

以上大概就是就是建立股票预测模型的整个过程，在这里重点讲的还是算法中各个方法的作用和各主要参数代表的含义，希望对大家有所帮助。

[SouthEast]: /images/20220617/9cd21c1dd38941aa9a9add48be8e0944.png
[SouthEast 1]: /images/20220617/94bb38e2d34e4249833e2fe00b29757b.png
[SouthEast 2]: /images/20220617/4ea86611fe2d4fce9f352209104fbee4.png
[SouthEast 3]: /images/20220617/b89f8c799b4844bbaff9d4e0ee858d5f.png
[SouthEast 4]: /images/20220617/374f6abefb4b4fc7935576fc6e0c6e08.png
[SouthEast 5]: /images/20220617/2e1e1c51714c47cb9c747bd49213d51f.png
[SouthEast 6]: /images/20220617/10a88fdcd61d4605b71d0bb8ed90a038.png