详解SVM支持向量机算法(二:拉格朗日函数和硬间隔SVM)

约定不等于承诺〃 2022-09-16 12:18 351阅读 0赞

**目录**

三类支持向量机分：

硬间隔SVM

定义：

硬间隔SVM的损失函数：

利用拉格朗日函数处理有约束条件的函数最优化问题

回顾无约束条件函数最优化

有约束条件的函数最优化

原始最优化问题

拉格朗日函数

拉格朗日函数的特性

利用拉格朗日回到硬间隔SVM求解最优化

拉格朗日极大极小对偶转换

求解最优化步骤

硬间隔SVM总结：

求解步骤

举个栗子：

--------------------

# 三类支持向量机分： #

1.线性可分支持向量机(硬间隔SVM)

硬间隔最大化

2.线性支持向量机

软间隔最大化

3.非线性支持向量机

升维（核函数）

# 硬间隔SVM #

## 定义： ##

基于理想状态下的SVM，也就是完全按照SVM思想找出一个超平面(其实就是确定一组w和b参数)，让距离超平面最近的点越远越好。

## 硬间隔SVM的损失函数： ##

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16][]

超平面用分类函数![20131107201211968][]表示，当f(x) 等于0的时候，x便是位于超平面上的点，而f(x)大于0的点对应 y = 1 的数据点，f(x)小于0的点对应 y = -1 的点。

再回顾一下实际距离是

![20131107201759093][]

几何距离是![20131107201919484][] ，![43db936c508d4b9c809c1bf3ab8e6779.png][]是函数距离，长得很像几何距离是吧，不要搞混了，y是类别1或者-1。

![20140829135959290][]

硬间隔SVM就是最后要让间隔(Gap的一半)最大化，

通过由前面的分析可知：函数间隔不适合用来最大化间隔值，因为在超平面固定以后，可以等比例地缩放w的长度和b的值，这样可以使得![20131107201211968][]的值任意大，亦即函数间隔y\*(wx+b)可以在超平面保持不变的情况下被取得任意大。但几何间隔因为除上了![20131111154326078][]，使得在缩放w和b的时候几何间隔![e711d245691544c68a7f56a5a4baf91d.png][]的值是不会改变的，它只随着超平面的变动而变动，因此，这是更加合适的一个间隔。换言之，这里要找的最大间隔分类超平面中的“间隔”指的是几何间隔。

于是最大间隔分类器（maximum margin classifier）的目标函数可以定义为：

![20131111160612687][] s.t. ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16][]

也就是说回到上边的定义，硬间隔SVM要做的就是最终找到一组最好的w和b固定一个超平面，使这个超平面在能完美区分正负例的基础上，距离最近的点间隔最大

整理为有约束的函数最优化问题就是：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16][]

其中γ’代表支持向量的函数距离。

之前上一篇[https://blog.csdn.net/RayChiu757374816/article/details/120840249][https_blog.csdn.net_RayChiu757374816_article_details_120840249]我们在感知器损失函数中提到错误点几何距离和公式：

![a38fec1360e3420ca377bb1ef04ae355.jpg][]

分子和分母是倍数关系，可以将分子或分母其中一方置为1，为了后边求解和理解方便，这里我们把分类正确的点的几何距离的分母置为1，也就是把函数距离置为1,则有分类正确下带条件的公式：

![ea1527fd25dba5634147a06d268934be.png][]

等价于：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16 1][]

## 利用拉格朗日函数处理有约束条件的函数最优化问题 ##

### 回顾无约束条件函数最优化 ###

我们之前提到的线性回归、逻辑回归、感知器等最优化问题都是这样的

![a8fb85f74750426e98b901e5fd9167c4.jpg][]

由于上式这里对x的取值范围并没有做任何限制,所以也称为无约束条件的最优化问题,这种情况可以直接使用梯度下降、L-BFGS、SMO等算法最优化问题。

### 有约束条件的函数最优化 ###

类似求![f9e8ff32371d4166b5f7644d01a14a8a.jpg][] 在x>=0的条件下最小解一样，如何通过一个统一的方法来求解这种带约束条件的函数最优化问题呢？

### 原始最优化问题 ###

带约束条件的最优化问题泛化表示方法：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16][]

可以将约束条件表述为k个不等式约束条件，和L个等式约束条件，我们命名其为原始最优化问题

我们这里的硬间隔SVM目标函数是带约束条件的，这种情况下就要用到拉格朗日函数进行转换了。

### 拉格朗日函数 ###

定义某原始最优化问题的拉格朗日函数为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16][]

其中![69d7d0dc3d7c415b9665918dce1f4541.png][]是第i个不等式约束函数（需要整理），![e34c8b9425914a8ea09425fc263fb5b9.png][]是第j个等式约束函数，αi和βi是拉格朗日乘子。

### **拉格朗日函数的特性** ###

学习特性的目的是为了求解拉格朗日函数，找到最优化问题的解。

令:

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16][]

上式有一个约束条件：αi≥0。

则：![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1][]

\-----------------证明一下这个结果-----------------

如何证明这个结果呢？

1.先看满足约束条件的情况：

若满足约束条件ci≤0，得到 αici≤0，即 ![2dbc3b2967c64eb5b76669f314248ce0.png][]函数中间部分![32560afe2f6b44c9b56807922a0765e4.png][]

再由约束条件hj=0，可知![2dbc3b2967c64eb5b76669f314248ce0.png][] 最后一部分![95900a81d4544aa4accb0826993e492b.png][]

此时 ![2dbc3b2967c64eb5b76669f314248ce0.png][]最大，就是该函数中间一部分和最后一部分为0的时刻，即f(x)最大，所以：![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 2][]

2.再看不满足约束条件的情况

不满足原始问题的条件ci≤0时，拉格朗日函数中间部分的值为正无穷(正正得正)，不满足条件hj=0时，βj可正可负，hj可正可负，拉格朗日函数最后一部分最大时也是正无穷

\-----------------证明结束-----------------

总结出极大极小问题(对偶问题) ：

所以根据结果，当满足约束条件时，对 ![4176712941ed45dba5540e8be30b0fb6.png][] 进行极小化，就相当于对原始问题的先进行最大化，然后再进行最小化：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 1][]

定义![2e079ce5a22a47368bfbe3d59aab1819.png][]

此时极大化![0272a9b54be54255a457adf882f6ca12.jpg][]：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 2][]

称为拉格朗日的极大极小问题，也称为原始问题的对偶问题

设![c17dd9fc62eb4170aa80a144b4e53176.jpg][]为对偶最优化问题的最优解，当f(x)和ci函数为凸函数，hj函数为仿射函数时，有：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16][]

**如何来求解**？构造一阶导数方程组[\[3\]][3]，并结合约束条件（包含原始问题的约束条件和拉格朗日函数的约束条件）来求解，这一步也称KKT条件

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16][]

## 利用拉格朗日回到硬间隔SVM求解最优化 ##

### 拉格朗日极大极小对偶转换 ###

硬间隔SVM原始问题：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16][]

构建拉格朗日函数,可将原始有约束的最优化问题转换为对拉格朗日函数进行无约束的最优化问题（也叫**二次规划问题**）：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16][]

然后我们令

![d911d534429142848c1e46900facf6af.png][]

容易验证，当某个约束条件不满足时，例如![c62b831b389b4d7faa05a82b3d494b86.jpg][]，那么我们显然有![2fd293d105214431bfc6fa1c47e4949c.jpg][](只要令![a9e96c777fe148f0b2e9e46d69862bf6.jpg][]即可）。而当所有约束条件都满足时，则有![f51789d2006c49ea9587497c0257aa40.jpg][]，亦即我们最初要最小化的量。因此，在要求约束条件得到满足的情况下**最小化**![23190b32808142f08dbbf81f7a977453.jpg][]**，实际上等价于直接最小化**![f63c09233e654b54b4a0b3c68e08769e.jpg][]（当然，这里也有约束条件，就是![332be1b1cf4d48459e8c64b536fda030.jpg][]

≥0,i=1,…,n） ，因为如果约束条件没有得到满足，![5ed97015001446f8b665fbcd43bd7d7f.jpg][] 会等于无穷大，自然不会是我们所要求的最小值。具体写出来，我们现在的目标函数变成了：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 3][]

这里用![59431ca15e6c4064a15d844f47ec22af.jpg][]表示这个问题的最优值，这个问题和我们最初的问题是等价的。由于我们的原始问题满足f(x)为凸函数，那么可以将原始问题的极小极大优化转换为对偶函数的极大极小优化进行求解：

![8ce25d8d233b42fe9aae4b8cca886df2.jpg][]

当然，交换以后的问题不再等价于原问题，这个新问题的最优值用![8e0bd794f1ff4804b409d2dc6282a7d0.png][]来表示。并且，我们有![92d20645ad2940d0aff54716848cd8fb.png][]≤![945c11ed36bf47bea46ad34b8d616179.jpg][] ，这在直观上也不难理解，最大值中最小的一个总也比最小值中最大的一个要大吧！ 总之，**第二个问题**的最优值![92d20645ad2940d0aff54716848cd8fb.png][]在这里提供了一个第一个问题的最优值![f613f38f60b7421a82d40e180ed6b4d3.jpg][]的一个下界，在满足某些条件的情况下，这两者相等，这个时候我们就可以通过求解第二个问题来间接地求解第一个问题。

### 求解最优化步骤 ###

我们这里最终的拉格朗日函数满足KKT条件，那么求解步骤分为三步，首先要让L(w，b，a) 关于 w 和 b 最小化，然后求对α的极大，最后利用SMO算法求解对偶因子。

首先第一步求解![4d7c4055e34641babc5281c9b741b4b3.jpg][]，固定![c8ae989036e8465aa22daf6de3db8495.jpg][]*，*要让 L 关于 w 和 b 最小化，我们分别对w，b求偏导数，即令 ∂L/∂w 和 ∂L/∂b 等于零

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

可以看出：我们已经求得了w和α的关系，下一步将w反代回原来的拉格朗日函数中：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 3][]

最终得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 4][]

我们可以看出，此时的拉格朗日函数只包含了一个变量，那就是![6acaa4fb82694bb9b82763b60fcf1e78.jpg][]，然后下文的第2步，求出了

![d383873db415419e938592e409d290c5.jpg][]便能求出极大情况下得w，和b，由此可见，上文第1.2节提出来的核心问题：![e1aabb3172944768a7d92d99fe18e23b.jpg][]也就可以轻而易举的求出来了。

反过头来整理一下对偶函数：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1][]

通过去掉负号，依然由最大转为最小

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2][]

接下来就该用SMO算法进行求解了，可以求得一组α\* 使得函数最优化

由此看出，使用拉格朗日定理解凸最优化问题可以使用一个对偶变量表示，转换为对偶问题后，通常比原问题更容易处理，因为直接处理不等式约束是困难的，而对偶问题通过引入拉格朗日乘子(又称为对偶变量)来解。

第二步通过SMO算法求一组α\*，也就是![8ce25d8d233b42fe9aae4b8cca886df2.jpg][]max部分了，这里我们暂且略过SMO算法原理，放到下一篇文章详细说。

经过上面第一个步骤的求w和b，得到的拉格朗日函数式子已经没有了变量w，b，只有![1e25dde448114b9ab1e11fe5e99170b5.jpg][]而反过来，求得的![1e25dde448114b9ab1e11fe5e99170b5.jpg][]将能导出w，b的解，最终得出分离超平面和分类决策函数。为何呢？因为如果求出了![91abf46644d644b4aaf1d3f6ff3ea7c3.jpg][]，根据

![2a0032175e9e4d968eba48b17909131d.jpg][]

即可求出w。然后如何求b,对于任意支持向量，有：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16][]

根据KKT条件中的![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 3][]，那么所有α>0时后面一项需要=0也就是

![1d9deded4001483b99edd1ebf00eb03f.jpg][]

求b的过程：找到所有个支持向量带进去求出所有个b，然后求平均最终就得到了分割超平面

## 硬间隔SVM总结： ##

### 求解步骤 ###

1.原始目标： 求得一组w和b 使得分隔margin最大

2.转换目标： 通过拉格朗日函数构造目标函数，问题由求得n个w 和1个b转换为求得m个α

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16][]

3.利用smo算法求得m个α\*

4.利用求得的m个α\*求得 w\*和b\*

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 1][]

### 举个栗子： ###

给定3个数据点：正例点x1=(3,3)，x2=(4,3)，负例点x3=(1,1)，求线性可分支持向量机

建立目标函数：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 2][]

求解α1，α2，α3

求解过程：

从条件得知：α3=α1+α2，带入目标函数得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1][]

分别对α1、α2求偏导，可以求得f(α1,α2)在(1.5,-1)处求得极值，但是α2不满足约束条件>0，所以次之α2=0时出现约束条件下的极值α2=0时，对α1求偏导求得对应的α1=1/4

此时，α1=1/4，α2=0，α3=1/4

由此可知，α1和α3对应的X1和X3为该例子的支持向量

求b,w：

因![26033a5e29d84e2ab624bce3504228d0.jpg][]，那么：w=a1*y1*x1+a2*y2*x2+a3*y3*x3=1/4x1x\[3;3\]+0+1/4x(-1)x\[1;1\]=\[0.5;0.5\].

因![056508c00ca4439da1acb9482df140e3.jpg][]选择aj不为零得支持向量计算并求平均：

j=1:b=y1-(a1*y1*x1*x1+0+a1*y1*x1*x3)=-2  
选择j=3计算出来的b也是-2.

求平均还是-2，所以带入超平面![在这里插入图片描述][20210710220607519.png]公式得：0.5*x1+0.5*x2-2=0，分类决策函数原型为：![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16][] 因此最终分类决策函数是：f=sign(0.5*x1+0.5*x2)

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/9b9016bc4432451e856cdd8feab35dda.png
[20131107201211968]: /images/20220828/afdbf30fa34c4c96a446c5c90822464c.png
[20131107201759093]: /images/20220828/60a4ec9744364055b7f67c06760f51f8.png
[20131107201919484]: https://img-blog.csdn.net/20131107201919484
[43db936c508d4b9c809c1bf3ab8e6779.png]: /images/20220828/33c8fd4583ed471baf0216fc691112c7.png
[20140829135959290]: /images/20220828/991615048ff149e886567883b4d47bad.png
[20131111154326078]: https://img-blog.csdn.net/20131111154326078
[e711d245691544c68a7f56a5a4baf91d.png]: /images/20220828/ec35223233394569b43b5864e0a7841b.png
[20131111160612687]: https://img-blog.csdn.net/20131111160612687
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f01f8f15c32943abaa368ed8cf380cc6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d2abbdc939ef47d9a193d861ffbbfe68.png
[https_blog.csdn.net_RayChiu757374816_article_details_120840249]: https://blog.csdn.net/RayChiu757374816/article/details/120840249
[a38fec1360e3420ca377bb1ef04ae355.jpg]: /images/20220828/7512b50f2c114e1a967e133768fa0a2e.png
[ea1527fd25dba5634147a06d268934be.png]: /images/20220828/8aa4c3b7a31343f1b880b974230e164b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_19_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/2e69ddb2f89a4291826339adde0d90ac.png
[a8fb85f74750426e98b901e5fd9167c4.jpg]: /images/20220828/0db92eea8ab54385929f2c009cc1e26b.png
[f9e8ff32371d4166b5f7644d01a14a8a.jpg]: /images/20220828/adee69f9f3714063be3970d605c5ead8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/3d7b3f2aeef34a8cb807677682596b17.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a9416eb6422743a088bd57e85d3d843c.png
[69d7d0dc3d7c415b9665918dce1f4541.png]: https://img-blog.csdnimg.cn/69d7d0dc3d7c415b9665918dce1f4541.png
[e34c8b9425914a8ea09425fc263fb5b9.png]: /images/20220828/2fe84de1cb6e4832b6ce391eff607642.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a4b5f390e51a46589d95074b2751cb8d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/f857293b850b45c685550d2875cd9eed.png
[2dbc3b2967c64eb5b76669f314248ce0.png]: https://img-blog.csdnimg.cn/2dbc3b2967c64eb5b76669f314248ce0.png
[32560afe2f6b44c9b56807922a0765e4.png]: /images/20220828/908e91740c07454498d2680234d3e948.png
[95900a81d4544aa4accb0826993e492b.png]: /images/20220828/bd93a1639ca14cf9a7d60a70f28e6758.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/5321823457f6433382096ebec2decb6e.png
[4176712941ed45dba5540e8be30b0fb6.png]: /images/20220828/bdc8381e3b3b4acbbba63d30aa43c3ab.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/94ce54331aae4d07a8ecbdb4d2b252ff.png
[2e079ce5a22a47368bfbe3d59aab1819.png]: /images/20220828/711a2b1890e74e038e924c72eb2d9dd8.png
[0272a9b54be54255a457adf882f6ca12.jpg]: /images/20220828/ae09ccd28270445cb7d1ecebe4bbd5cb.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/290ac100e7a14fdcb7f77d3331e91669.png
[c17dd9fc62eb4170aa80a144b4e53176.jpg]: /images/20220828/09390a5149c940b6b8e33599c61a4c85.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/665a1f10194b4bb992d4e73690fe080b.png
[3]: https://zhuanlan.zhihu.com/p/67327634#ref_3
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/e7b8d2ce341c4e84831f6a10f38b3708.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/2994f0d21a1e46cd9ea384dedd1aec73.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/7b0e0eced1cc4088893269dfa09c47d5.png
[d911d534429142848c1e46900facf6af.png]: /images/20220828/4413fe061e0c40b5902db4ea65b4413d.png
[c62b831b389b4d7faa05a82b3d494b86.jpg]: https://img-blog.csdnimg.cn/c62b831b389b4d7faa05a82b3d494b86.jpg
[2fd293d105214431bfc6fa1c47e4949c.jpg]: https://img-blog.csdnimg.cn/2fd293d105214431bfc6fa1c47e4949c.jpg
[a9e96c777fe148f0b2e9e46d69862bf6.jpg]: https://img-blog.csdnimg.cn/a9e96c777fe148f0b2e9e46d69862bf6.jpg
[f51789d2006c49ea9587497c0257aa40.jpg]: https://img-blog.csdnimg.cn/f51789d2006c49ea9587497c0257aa40.jpg
[23190b32808142f08dbbf81f7a977453.jpg]: https://img-blog.csdnimg.cn/23190b32808142f08dbbf81f7a977453.jpg
[f63c09233e654b54b4a0b3c68e08769e.jpg]: https://img-blog.csdnimg.cn/f63c09233e654b54b4a0b3c68e08769e.jpg
[332be1b1cf4d48459e8c64b536fda030.jpg]: /images/20220828/e2d00b37398448318955f285294bf53b.png
[5ed97015001446f8b665fbcd43bd7d7f.jpg]: /images/20220828/07d53b001c2f49a98bf84839897d300d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/02b6951d62524b2193e628b456fd08d2.png
[59431ca15e6c4064a15d844f47ec22af.jpg]: /images/20220828/c3cd518cd2614779b5b0f08310509c1b.png
[8ce25d8d233b42fe9aae4b8cca886df2.jpg]: /images/20220828/1f27e0d267df4354baba791ad8a083d8.png
[8e0bd794f1ff4804b409d2dc6282a7d0.png]: https://img-blog.csdnimg.cn/8e0bd794f1ff4804b409d2dc6282a7d0.png
[92d20645ad2940d0aff54716848cd8fb.png]: https://img-blog.csdnimg.cn/92d20645ad2940d0aff54716848cd8fb.png
[945c11ed36bf47bea46ad34b8d616179.jpg]: https://img-blog.csdnimg.cn/945c11ed36bf47bea46ad34b8d616179.jpg
[f613f38f60b7421a82d40e180ed6b4d3.jpg]: /images/20220828/1374d8786aa645fb9ad0cc649218912c.png
[4d7c4055e34641babc5281c9b741b4b3.jpg]: https://img-blog.csdnimg.cn/4d7c4055e34641babc5281c9b741b4b3.jpg
[c8ae989036e8465aa22daf6de3db8495.jpg]: /images/20220828/795536e760734b93a2108325aa561a3c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/33cf07209ddc431eace82914a6b52996.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/45e92175719e4b4fb1487fbcd0522ca3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/26ee170270734afa986d658047fecddc.png
[6acaa4fb82694bb9b82763b60fcf1e78.jpg]: /images/20220828/4f9b5b1b4f0c4f6fa5afb22cf89558f5.png
[d383873db415419e938592e409d290c5.jpg]: https://img-blog.csdnimg.cn/d383873db415419e938592e409d290c5.jpg
[e1aabb3172944768a7d92d99fe18e23b.jpg]: /images/20220828/4ebd877ef2674ec2b86c51e1c7d6bf97.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/90b37f01c0514064a5923d60a233de4d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/6a5ce76f198c4c7081243fc1227e4e1b.png
[1e25dde448114b9ab1e11fe5e99170b5.jpg]: https://img-blog.csdnimg.cn/1e25dde448114b9ab1e11fe5e99170b5.jpg
[91abf46644d644b4aaf1d3f6ff3ea7c3.jpg]: /images/20220828/0df8e5b639ed491ebdbfd53049a1aed3.png
[2a0032175e9e4d968eba48b17909131d.jpg]: /images/20220828/287c47bec1c546f2ab8108b0ab3727b0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/e55387d219d849d6bf970fe93afec4a4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/58c41089109041c4823ca080ce2a5b77.png
[1d9deded4001483b99edd1ebf00eb03f.jpg]: /images/20220828/37fbc3d9fa2e4eabac40b703525a08a4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/197068346f1d406ebd7cf7942859d4a0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/ce81367de8464b91b59950311ec3fc87.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/da43108ca22b4cdeb83e2ceb0f9df93e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/87b274b5f88848b4abd582e637a59b59.png
[26033a5e29d84e2ab624bce3504228d0.jpg]: /images/20220828/b6e72377294a48e9900e4c127b83826b.png
[056508c00ca4439da1acb9482df140e3.jpg]: /images/20220828/1582d6fe43bd4e648768208cf0b1c8a8.png
[20210710220607519.png]: https://img-blog.csdnimg.cn/20210710220607519.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c9162880eeeb4c8883cfb67982cb0083.png