支持向量机的理解（主要是对偶的理解）

SVM的基本形式

如果找到了一个超平面可以正确分开这个数据集，那么意味着对于每个样本点x来说，其实它的函数间隔都大于等于0，即：
在这里插入图片描述
（1）最最原始的优化目标：，即我们需要在每个可以正确分类的平面中，找到一个到数据集的间隔最大的平面，其中间隔被定义为这个数据集样本到这个平面的最小距离

（2）根据w和b缩放后优化目标不变，我们就可以让在这里插入图片描述为1来简化这个问题，得到，然后再转化为等价的
。
(3)SVM的基本形式

对偶问题的理解

凸优化问题

在优化问题中，凸优化问题由于具有优良的性质（局部最优解即是全局最优解），受到广泛研究。

对于一个含约束的优化问题：
在这里插入图片描述
其中，f(x)为一个凸函数，变量x的可行域C是一个凸集，那么这个优化问题称为一个凸优化问题。
将上面的约束条件的形式更加明确一点，一个凸优化问题可以写成：

其中，f(x)当然仍然为一个凸函数，但对约束条件有一定要求：gi(x)是凸函数；hi(x)为仿射函数。这样的要求当然是为了保证可行域是一个凸集。
不等式约束中gi(x)为凸函数，而凸函数的水平截集{x|gi(x)≤α} 是一个凸集(凸函数的性质)，这就使得不等式约束保证了可行域为凸集；
对于等式约束hi(x)=0可以写成：
在这里插入图片描述
要使得满足条件的x组成的集合为凸集，就要求hi(x) 既是一个凸函数，又是一个凹函数，这样hi(x)便只能是仿射函数了。

以上便是凸优化问题的一般形式。常见的线性规划、二次规划、二次约束二次规划等优化问题都是凸优化问题。

拉格朗日对偶

抛开凸优化问题，回到一般的优化问题。

一般的优化问题可以写成以下形式：
在这里插入图片描述
当然，这里对f(x)、gi(x)、hi(x)都是没有要求的。
根据拉格朗日方法，对应的拉格朗日函数为：

其中α 、β为拉格朗日乘数（都是向量，其长度分别对应于不等式约束和等式约束的个数），且αi≥0、β任意。
在这里插入图片描述

如果违背了原来的约束条件，比如存在某一个约束gi(x)>0，那么可以取αi任意大，这样θP(x)=+∞。违反等式约束hi(x)=0的情况是类似的。