SVM（六）：带松弛变量的SVM数学模型

梦里梦外; 2023-01-08 12:28 112阅读 0赞

### 目录 ###

*  问题背景
 *  加入松弛变量
 *  新的模型

# 问题背景 #

*  上一篇我们已经学习了关于SVM模型的基本知识，现在我们就其可能面对的情况进行更深入的分析。
 *  之前我们采用的例子是比较规整的数据例子，大家请看下面的数据分布。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]  
    你觉得上面的分类效果好嘛？我觉得不是特别好，原因就是实际上我们感觉我们宁可错分一个，也不想出现上述这种比较紧凑的情况，再看下面的分法：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]  
    上图中的实线作为最优的分割线貌似才是我们心中的答案，当然你也可以不认同这一点，然后不加入松弛变量，这样的效果就是第一幅图的效果，如果你更认同后面这幅图的效果，那你就可以采用松弛变量的SVM的模型。
 *  如果说上面的情况你还有选择的话，那下面的情况貌似你就没有选择了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]  
    之前的情况是线性可分的，而现在的数据是线性不可分的，当然你可以选择使用核函数来解决这个问题（我们后续会讲解）。此处我们单单考虑是否使用松弛变量的话，此时的答案应该是必须，不然你再也无法找到一条能完全分隔两份数据的分割线了。
 *  好，上面就是我们的问题背景，下面我们讲解一下如何加入松弛变量。

# 加入松弛变量 #

*  先看操作：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 4]
 *  想知道为什么加入上面的参数 ξ 和 C ξ和C ξ和C，先看我们的条件，即：  
    ![在这里插入图片描述][20210120115322571.png]  
    要知道 ξ ξ ξ是一个大于等于0的常数，所以让假设右式平白无故多了一个大于等于0的数相当于人为缩减了各个样本到超平面的距离，而且，还使得即便某个样本错分了，即左式<0，也有可能使得假设成立，放在以前，假设右式是1，错分是不可能满足假设的，但是现在，假设右式=1->=0的数，使得错分也有可能满足假设了，也就是说，就是这么一个其貌不扬的常数，使得样本到超平面的距离被拉近了，同时错分也成为可能了。这直接导致支持向量可能换人啦！  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 5]  
    以此为例，最上面的蓝色点可能就不是支持向量了！因为**错分成为了可能，其他样本到超平面的距离还拉进了**，可能使得超平面向下移动。  
    现在我们来构想一下，这个 ξ ξ ξ可能无限大嘛？答案是否定的，倘若无限大了，表示根本就没有约束了，那这还分啥类啊，样本一点都不起作用了还有什么分类依据。所以我们想让 ξ ξ ξ发挥拉进样本点同时使得错分成为可能的作用也得对于 ξ ξ ξ有一些约束才行，不能让它无限大，相反，我们应该让它尽可能的小，因为**允许错分的前提是大部分样本还是没有错分的，所以 ξ ξ ξ只能有限大，错分也是在有限范围内错分。**。所以我们看优化目标：  
    ![在这里插入图片描述][20210120120054157.png]  
    C是个常数，相当于防止过拟合里的惩罚系数的作用，它越大， ξ ξ ξ的值就得越小，因为我们的目标就是最小化。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 6]  
    再看这个例子，本来我这个超平面很憋屈啊！我明明可以再往下一点，使得 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣再小一点（**因为往下移动几何间隔变大，有助于优化目标**），可是我偏偏被条件约束着！动弹不得！我不能错分这个蓝点啊！！！！突然 ξ ξ ξ加入战场，超平面可以错分了！但是也只是在有限的范围内错分！但是足够我跳过这个讨厌的蓝色点了！现在我移动到最佳位置了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 7]  
    那我能不能再往下或者往上移动一下呢？不能，因为此时无论往上还是往下，与任一类样本的支持向量的几何距离拉进了，也就是说你偏心了！此时 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣会变大，这是我们不希望看到的，因为最终最优的位置就是在两类中间。  
    另外错分的点是不能再作为支持向量的，可以认为这个点发挥的作用已经基本没了，只剩下约束条件里会通过这个样本来约束。  
    总结一下，就是本来还能继续缩短距离来优化减小 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣的，但是由于约束>=1无法做到，引入 ξ ξ ξ之后，使得错分成为可能，所以能够跳过那种不合理的点，来选取新的支持向量，在此基础上再优化减小 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣，同时限制 ξ ξ ξ，使得 ξ ξ ξ起到错分几个关键的不合理点的主要作用就够了，而不能错分大部分点，例如：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 8]  
    如果图中红线是最优分割线，错分了太多，使得 ξ ξ ξ过大，而且这样的话，距离太大（距离白色样本都这么大的距离了，太偏心了）导致 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣太大，这与优化目标不符，所以还会继续优化，直到：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 9]

# 新的模型 #

*  然后就是新的模型：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 10]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 11]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 12]  
    （上面是两篇不同的引用，下面的符号 γ i γ\_\{i\} γi即上面的 λ i λ\_\{i\} λi）  
    对应的kkt条件如下  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 13]
 *  以上就是全部内容，如有错误还请指正！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: /images/20221119/1b5ed63049ef4f6b932261bb82bfaee7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20221119/12e04d750f6d4b6394637455a8cc4131.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]: /images/20221119/7cea0f83c04e444687fe07f986247fe2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3]: /images/20221119/30c789484b5d48ba8f85a50dbefe86d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 4]: /images/20221119/6dc0c66ae4e64508a3398e8243c8d26d.png
[20210120115322571.png]: /images/20221119/ad2f6cc48652436bac98316c4585ebdf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 5]: /images/20221119/3778bed048a247c1983d3dea4367574e.png
[20210120120054157.png]: /images/20221119/10e3118b355b4dd6a06121862dc6e0bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 6]: /images/20221119/32f9b3415b654bc9b3959e60e3a6f2c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 7]: /images/20221119/820654461961451589ae8d10b4cc4731.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 8]: /images/20221119/5d82230439984837b8e5326212cfa13f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 9]: /images/20221119/fae580fdf7fa41f0a38fb2800267a897.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 10]: /images/20221119/eaa680a2f7884500bd44726ec45f2f15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 11]: /images/20221119/1dfdb4f9c7854a09874fc38675da0740.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 12]: /images/20221119/4f815af1afc340e19e03eca14bf87788.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 13]: /images/20221119/3f5d3004d54f4540853dfe14310610ff.png