支持向量机（Support Vector Machine）之线性模型

旧城等待， 2023-06-29 06:59 2阅读 0赞

线性模型，又分为线性可分（Liner Spearable）和线性不可分两类(None Liner Spearable)两种。作为初学，首先用二维介绍线性可分：  
比如这样子（这个图实在是太low，但能看懂）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTg4NTIzMg_size_16_color_FFFFFF_t_70]方框代表一类，假设为A类，圆圈代表另一类，假设为B类，中间的黄线将AB两类区分了开来。而**支持向量机SVM的任务，就是确定中间唯一的那条中线L，使得L距离A/B类的距离最大并且L在最大间隔的中间。**

用数学表示如下：  
（1）训练样本集D = \{(x1, y1),(x2,y2)…(xn,yn)\},其中Yi取值是+1或-1，x为向量，y为标签  
（2）在样本空间中，划分超平面，用如下方程表示：  
WtX + b = 0，t是转置的意思，W=\{w1,w2…\}，其纬度与X相同，b为偏执  
（3）一个训练集线性可分，则有\{xi,yi\},i=1-N，存在a,b使得任给i=1-N，有：  
若Yi = +1, 则WtXi + b >= 0  
若Yi = -1, 则WtXi +b < 0  
显然，大于或小于零并没有明显的定义。但这里跟我们在树上看到的右侧为1并不一样，原因在于b是一个偏置，这个值是任意给的，右侧是几都无所谓。

基于前面图的描述，**最大间隔的定义如下：  
1)最小化（minimize） ||W||  
2)限制条件（subject to）Yi\[WtXi + b\] >= 1 i=1-N**

基于以下理论：  
1）WtX + b = 0与 aWtX + ab = 0为同一平面  
2）点到平面的距离公式  
3）向量X到平面的距离公式  
最后用a去放缩（W，b），会得到限制条件（subject to），此时的单侧最大距离为d = 1/||w||

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTg4NTIzMg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200111111107606.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTg4NTIzMg==,size_16,color_FFFFFF,t_70