从拉普拉斯矩阵说到谱聚类

古城微笑少年丶 2022-09-17 04:28 193阅读 0赞

##  ##

![651d746bc03ca09e4817f2f98fbea555.gif][]

## **1、拉普拉斯矩阵**    ##

### 1.1 、Laplacian matrix的定义 ###

拉普拉斯矩阵（Laplacian matrix)），也称为基尔霍夫矩阵, 是表示图的一种矩阵。给定一个有n个顶点的图![f184d0d32aefcee8e6a3b1f1c32bc279.png][]，其拉普拉斯矩阵被定义为:

> > ![69c471af3f67b504ddb7c1ec556466bc.png][]  
> >

其中![4e443cfe57b307be16225d705aa3a90b.png][]为图的度矩阵，![0ce57c292e1756656179b7656f0284c9.png][]为图的邻接矩阵。

举个例子。给定一个简单的图，如下：

> > ![2beca813a0baa3bd558bf48ae47d04b5.png][]

把此“图”转换为邻接矩阵的形式，记为![62d54794feea8004be3db73cdaafffdd.png][]：

> > ![632a9683de19359d008007abecb761a2.png][]

把![908333766ed3aecc5bcd3839cdab117d.png][]的每一列元素加起来得到![2037f667a1b7e2c7c6779288f5f7e674.png][]个数，然后把它们放在对角线上（其它地方都是零），组成一个![d5295a081e8166c3ad9705f9ab3ffa8d.png][]的对角矩阵，记为度矩阵![4e19736db6145694288995c5b85ec653.png][]，如下图所示：

> > ![e39e8bd688702aa7056b32378e4ae3ed.png][]

根据拉普拉斯矩阵的定义![eba3ef24c765629a5ca1984a92c5aca7.png][]，可得拉普拉斯矩阵![46ccf7ecda0cce36aafe5121ec032be4.png][] 为：

> ![a5a0310c9bd49aa90c654f41396314ff.png][]

### 1.2、 拉普拉斯矩阵的性质 ###

介绍 拉普拉斯矩阵的性质之前，首先定义两个概念，如下：

①对于邻接矩阵，定义图中A子图与B子图之间所有边的权值之和如下：

> > ![da0e88e9e9d376c66c728a93bcffa2e8.png][]

其中，![d2400984ad6922b7ac1cea91e855c667.png][]定义为节点![e63148d35c6264bb5018ead202b7dcf2.png][]到节点![b426d5d77d404d2f1c09d4d74ebc39e0.png][]的权值，如果两个节点不是相连的，权值为零。  
②与某结点邻接的所有边的权值和定义为该顶点的度d，多个d 形成一个度矩阵![4ebd718a369430f196c42536d130c1e2.png][] （对角阵）

> > > ![bc09505cf2645ac88e3cbaf56a4a1181.png][]

> > >   
> > >

拉普拉斯矩阵![0ce7398d6e77dee0d12df93296f9768f.png][] 具有如下性质：

*  ![30a5be952c82e7033bad443ea315a956.png][] 是对称半正定矩阵；
 *  ![782287e5d68a2f1c7a6412c0d49034b1.png][] ，即![536fcbc41cafb0a01ad01d10c6763200.png][] 的最小特征值是0，相应的特征向量是![4ee7ee4f682e53b2a792ddc1caafa4de.png][] 。证明：![2516609e3711ae5d80a05fe4bec1aa14.png][] \* ![2b938cff458b6e2767e623c2904049ae.png][] = (![f3f8db72737452900154d8ca9a6364bb.png][] \- ![68965734b2eb2b3bf0015df4a659aef9.png][]) \* ![91d8de0b4508b1fc1680f24468e03b3d.png][] = 0 = 0 \* ![110a8430d2fbdc6b9cd6ea7e46356eab.png][]。（此外，别忘了，之前特征值和特征向量的定义：若数字![944c684fdda007e7821ca06eec6cc487.png][]和非零向量![ccac3f6891db23cb7cb2072ae8b9ab14.png][]满足![8ab403a2278a669819df393a76e69285.png][]，则![208de12ab5b090539179d9efed97b43f.png][]为![daefc1e4c91fd942dce188c5f9816e50.png][]的一个特征向量，![0c3e923317a4e77fbf3ec2172254e327.png][]是其对应的特征值）。
 *  ![38d43ab971ceafc97c6fd980484e23c7.png][] 有n个非负实特征值![a3b413afb924fed9495ddb6f1b1b1667.png][]  
    
 *  且对于任何一个属于实向量![9b20e9115c3aea8ddee10b7deef4c9c3.png][]，有以下式子成立

> > ![573ccf5b4936debe6fd68c7bfd401dbd.png][]

其中，![545fe36509a5a7f63c32175ac8512f75.png][]，![7b5bb2be284a24311c23d1cb390659c1.png][]，![7c1a52b01a88464c532067141ebe9776.png][]。

下面，来证明下上述结论，如下：

> ![9e87939213bcde328997b1ca5b7b3d2c.png][]

## **2、谱聚类** ##

所谓聚类（Clustering），就是要把一堆样本合理地分成两份或者K份。从图论的角度来说，聚类的问题就相当于一个图的分割问题。即给定一个图G = (V, E)，顶点集V表示各个样本，带权的边表示各个样本之间的相似度，谱聚类的目的便是要找到一种合理的分割图的方法，使得分割后形成若干个子图，连接不同子图的边的权重（相似度）尽可能低，同子图内的边的权重（相似度）尽可能高。物以类聚，人以群分，相似的在一块儿，不相似的彼此远离。

至于如何把图的顶点集分割/切割为不相交的子图有多种办法，如

1.  cut/Ratio Cut
2.  Normalized Cut
3.  不基于图，而是转换成SVD能解的问题

目的是为了要让被割掉各边的权值和最小，因为被砍掉的边的权值和越小，代表被它们连接的子图之间的相似度越小，隔得越远，而相似度低的子图正好可以从中一刀切断。

本文重点阐述上述的第一种方法，简单提一下第二种，第三种本文不做解释，有兴趣的可以参考文献H. Zha, C. Ding, M. Gu, X. He, and H.D. Simon. Spectral relaxation for K-means clustering. Advances in Neural Information Processing Systems 14 (NIPS 2001). pp. 1057-1064, Vancouver, Canada. Dec. 2001。

### 2.1、 相关定义 ###

为了更好的把谱聚类问题转换为图论问题，定义如下概念（有些概念之前已定义，权当回顾下）：

*  无向图![9681461e00622827b63dfcce793c3fd5.png][]，顶点集V表示各个样本，带权的边表示各个样本之间的相似度
 *  与某结点邻接的所有边的权值和定义为该顶点的度d，多个d 形成一个度矩阵![f25b2def5528c1b139f8bb65005fce89.png][]（对角阵）

> > > ![2d0393f8e936b2363503493fcd41c7ac.png][]

*  邻接矩阵![cf50440783a459a3203fbdbee1d3d2b2.png][]，A子图与B子图之间所有边的权值之和定义如下：
    
    > ![2bdb18e00f194a524688db71c37a03ee.png][]
    
    其中，![a607b6168490928f08b1880ba0e22062.png][]定义为节点![e3f10a01d12d896ca5361f2190b35c17.png][]到节点![c9c2e621cb0558541941552aba2c69f5.png][]的权值，如果两个节点不是相连的，权值为零。

*  相似度矩阵的定义。相似度矩阵由权值矩阵得到，实践中一般用高斯核函数（也称径向基函数核）计算相似度，距离越大，代表其相似度越小。

> ![6dc67059b263760537068ba31f3e48dc.png][]

*  子图A的指示向量如下：

> > ![8f56d118c24817fe5388e2692e41a017.png][]

### 2.2、 目标函数 ###

因此，如何切割图则成为问题的关键。换言之，如何切割才能得到最优的结果呢？

举个例子，如果用一张图片中的所有像素来组成一个图 ，并把（比如，颜色和位置上）相似的节点连接起来，边上的权值表示相似程度，现在要把图片分割为几个区域（或若干个组），要求是分割所得的 Cut 值最小，相当于那些被切断的边的权值之和最小，而权重比较大的边没有被切断。因为只有这样，才能让比较相似的点被保留在了同一个子图中，而彼此之间联系不大的点则被分割了开来。

设![b393b82678113934fa39014731f1a3b1.png][]为图的几个子集（它们没有交集） ，为了让分割的Cut 值最小，谱聚类便是要最小化下述目标函数：

> > ![f62ef1ef020b785e24929952c2490eb6.png][]

其中k表示分成k个组，![19f27f456bcefde1595def14736e399b.png][] 表示第i个组，![38583e0b1c218f6b51e9b072ef4adcc8.png][]表示![80f4172d1b5d9af87cb73091678bacfd.png][] 的补集，![0d960a5d6fa1243d2c64616741388e8b.png][]表示第![97758d08dfa511c692acc1de4a6ba88d.png][] 组与第![7f902c9e9de2e0583f05e1333f857c47.png][]组之间的所有边的权重之和（换言之，如果要分成K个组，那么其代价就是进行分割时去掉的边的权值的总和）。

为了让被切断边的权值之和最小，便是要让上述目标函数最小化。但很多时候，最小化cut 通常会导致不好的分割。以分成2类为例，这个式子通常会将图分成了一个点和其余的n-1个点。如下图所示，很明显，最小化的smallest cut不是最好的cut，反而把\{A、B、C、H\}分为一边，\{D、E、F、G\}分为一边很可能就是最好的cut：

> > ![836aa844138e7664efc2c770a3239593.png][]

为了让每个类都有合理的大小，目标函数尽量让A1,A2...Ak 足够大。改进后的目标函数为：

> > > ![83de0c41c8dfec179b71ca8470aea574.png][]

其中|A|表示A组中包含的顶点数目。

或：

> > > ![40665482be4aae9de0dab235103b1f97.png][]

其中，![e14dd4697b8985661dd125993ae8e681.png][]。

### 2.3、最小化RatioCut 与最小化![6de53096d9002a7082fc3a929fe4bb31.png][]等价 ###

下面，咱们来重点研究下RatioCut 函数。

目标函数：![e0491c7d0868940ea36adadd7044a87c.png][]  
定义向量![798690257b37728279bd0166f8fcd159.png][]，且：

> > > > ![f7620345890679cf479c7693fe8503bc.png][]

根据之前得到的拉普拉斯矩阵矩阵的性质，已知

> > > > ![4d0abe3fc1c4d21bc32438de5afdb7bd.png][]

现在把![09bfb2c2af3c2134abfdfb90419e07a5.png][]的定义式代入上式，我们将得到一个非常有趣的结论！推导过程如下：

> > ![950c51bd67fa9d7d9e803f639c94983d.png][]

是的，我们竟然从![fa8cd29fcff10b7611807966c74a2c9e.png][]推出了RatioCut，换句话说，拉普拉斯矩阵L 和我们要优化的目标函数RatioCut 有着密切的联系。更进一步说，因为![d31258ce44877a66451e12287e11f24e.png][]是一个常量，所以最小化RatioCut，等价于最小化![4720d46515a0340a754be9a73926af49.png][]。

同时，因单位向量![31c67f5ac2024be4712a1e1c13f22a3e.png][]的各个元素全为1，所以直接展开可得到约束条件：![3c510bc04afced3aa3e88c3539be50bd.png][]且![cf17ed6f57bcde2c0289fcbae2c08581.png][]，具体推导过程如下：

> > > ![78f64486883e5a143c36d23ee9e3e585.png][]

> > > ![363aa49594ca5cd8c8f12f9f563fe621.png][]

最终我们新的目标函数可以由之前的![50f57f1e522c3f3f7f10629b298fd1e4.png][]，写成：

> > ![ba485cd5e8ca10ebf9e424766182da7b.png][]

其中，![2d803f42047db78263042c328ae69045.png][]，且因![3574fb4918c48a1e24214dd382aec3c5.png][]，所以有：f'f = n（注：f是列向量的前提下，f'f是一个值，实数值，ff'是一个N\*N的矩阵）。

继续推导前，再次提醒特征向量和特征值的定义：

*  若数字![29d4315d55a2fea77a144a3fd5b7473e.png][]和非零向量![c94f503ebb334cae68b4523b27e8ede5.png][]满足![d045468e6d179a738a56b706dcd6564a.png][]，则![1323d960216dbfda27d5ea2503488e9a.png][]为![5e34cc504ee04bf6376fa8d7e21e02b9.png][]的一个特征向量，![423df9c1343fd609c97763f6d679bd69.png][]是其对应的特征值。

假定![ac6e1b606b23be1c39ae4dd34c0687d7.png][] ![e9fcf4a04e558ee4438ade108f995675.png][] = ![f1af181acf48e5dc8994be727968865b.png][] ![8be1487f5e9203f846019d6fd3672eda.png][]，此刻，![f55a6cde97dcc59c17456a13c1c4c969.png][]是特征值，![3cfd825edd8e7481b10a4ee11fb527d0.png][] 是![d4e6cce0ba2faa40188242cb99cdcfc2.png][] 的特征向量。两边同时左乘![6527cd350b9cfcf38eb44650a3e61c3f.png][]，得到![76113adda35ec60275990bf8cb811838.png][]![70ba6bf111a7e0d57b2f4cdcd6ecf76a.png][]![fcc700114363466a4a65851cd64aaf88.png][] = ![ff1244a3f0b38d2fd0c803a2f93aa7eb.png][]![3db903ede5b5a825a21e94c3e23574f3.png][]![b91d230dc27f40e98c783cf554acec2e.png][]，而f'f=n，其中n为图中顶点的数量之和，因此![e01221860ec49af6282e866df1e5c21e.png][]![6e6762a0c708104bbdec9d78b4505901.png][]![0b31632fe55919f8733bd3f2083abd34.png][] = ![8382da9dce517708962a74cbc5cb8a17.png][]n，因n是个定值，所以要最小化![f4c5fd59be56882159b17be94e590fe2.png][]，相当于就是要最小化![6757210fd462f89832ea0e30fa9514f0.png][]。因此，接下来，我们只要找到![a6dabc1449c769e928b221ded433301b.png][] 的最小特征值![582b29e98a07c0e2ec5c37689e1af931.png][]及其对应的特征向量即可。

但到了这关键的最后一步，咱们却遇到了一个比较棘手的问题，即由之前得到的拉普拉斯矩阵的性质“![3be638b0641ade94e2fe20b13151e090.png][]最小的特征值为零，并且对应的特征向量正好为![9a01c96534ed3c56da77f7d3d918bf94.png][]”可知：其不满足![51f4246ad6b16312fb402f4a98ba9021.png][]的条件，因此，怎么办呢？根据论文“A Tutorial on Spectral Clustering”中所说的Rayleigh-Ritz 理论，我们可以取第2小的特征值，以及对应的特征向量![ecd4e6a2eefb1540ce495c5d5214d273.png][]。

更进一步，由于实际中，特征向量![b2c8d826a094592550cd48adb07c4a52.png][] 里的元素是连续的任意实数，所以可以根据![08bad5f02d51a59cb14e3a387c1b959a.png][] 是大于0，还是小于0对应到离散情况下的![13d5f2127999ec03dd0dc929da9f0b29.png][]，决定![584c22a348f691cd12298bac03cf385e.png][] 是取![123b09ce4523f921e6d8d65104de0698.png][]，还是取![c64081d36dcb34077d4793fd2ec10e86.png][]。而如果能求取![f411c1e9e4ce42ff6cc482123be985e1.png][] 的前K个特征向量，进行K-means聚类，得到K个簇，便从二聚类扩展到了K 聚类的问题。

而所要求的这前K个特征向量就是拉普拉斯矩阵的特征向量（计算拉普拉斯矩阵的特征值，特征值按照从小到大顺序排序，特征值对应的特征向量也按照特征值递增的顺序排列，取前K个特征向量，便是我们所要求的前K个特征向量）！

所以，问题就转换成了：求拉普拉斯矩阵的前K个特征值，再对前K个特征值对应的特征向量进行 K-means 聚类。而两类的问题也很容易推广到 k 类的问题，即求特征值并取前 K 个最小的，将对应的特征向量排列起来，再进行 K-means聚类。两类分类和多类分类的问题，如出一辙。

就这样，因为离散求解![64bd2a8647be39478131a7aa5f482ad8.png][]很困难，但RatioCut 巧妙地把一个NP难度的问题转换成拉普拉斯矩阵特征值（向量）的问题，将离散的聚类问题松弛为连续的特征向量，最小的系列特征向量对应着图最优的系列划分方法。剩下的仅是将松弛化的问题再离散化，即将特征向量再划分开，便可以得到相应的类别。不能不说妙哉！

### 2.4、谱聚类算法过程 ###

综上可得谱聚类的算法过程如下：

1.  根据数据构造一个Graph，Graph的每一个节点对应一个数据点，将各个点连接起来（随后将那些已经被连接起来但并不怎么相似的点，通过cut/RatioCut/NCut 的方式剪开），并且边的权重用于表示数据之间的相似度。把这个Graph用邻接矩阵的形式表示出来，记为 ![f14d4d171261e1ff66d52ef55606e22a.png][]。
2.  把![25684d691593f6c6ed865b7091f8e0ac.png][]的每一列元素加起来得到![658cc4bc2813e3df8a5dd7afbc69c548.png][]个数，把它们放在对角线上（其他地方都是零），组成一个![86ae4215a7f721323de8b41bc4edf4b8.png][]的对角矩阵，记为度矩阵![dd2f60012a3e6f33b17383cb536f11c2.png][]，并把![51ba29602ee020acda8656774c00b688.png][] \- ![0524ea77fa7a137254cecbafb545f268.png][]的结果记为拉普拉斯矩阵![5a54b1e8f7ab30a58241730c2ed568c6.png][]。
3.  求出![7336025255618aafdbed84243bddbb87.png][]的前![5a06ab4da211a0e6e3181fd9d88c5df5.png][]个特征值（前![95e5ddcadc3112ede881fc86fe9d9695.png][]个指按照特征值的大小从小到大排序得到）![e080217331c4d5fa3e188a6b1af428db.png][]，以及对应的特征向量![1f0d564c17a39e1324527499a28ff030.png][]。
4.  把这![db967a14a38bef213a1aba5d544bbe6f.png][]个特征（列）向量排列在一起组成一个![655bde88a89b30f44002d4fa24c4a5c9.png][]的矩阵，将其中每一行看作![caff76dfb3287770538961aee44a2082.png][]维空间中的一个向量，并使用 K-means 算法进行聚类。聚类的结果中每一行所属的类别就是原来 Graph 中的节点亦即最初的![58d2fd5fd7467e9557da2c073867c176.png][]个数据点分别所属的类别。

或许你已经看出来，谱聚类的基本思想便是利用样本数据之间的相似矩阵（拉普拉斯矩阵）进行特征分解（ 通过Laplacian Eigenmap 的降维方式降维），然后将得到的特征向量进行 K-means聚类。

此外，谱聚类和传统的聚类方法（例如 K-means）相比，谱聚类只需要数据之间的相似度矩阵就可以了，而不必像K-means那样要求数据必须是 N 维欧氏空间中的向量。

**—THE END—**

**文章推荐**

☞[劝你别再闷头自学NLP了！！！请收下这套自然语言处理(NLP)算法学习路线！][NLP_NLP]

☞[数学家比10个师更有威力？| 美国在第二次世界大战中胜利的原因之一][10_]

☞[耶鲁校长：这才是判断一个人受过教育的铁证！][Link 1]

☞[趣文 | π里包含了所有可能的数字组合吗？][Link 2]

☞[我们计划招收300名数学算法爱好者，免费系统学习傅立叶变换][300]

☞[泰勒级数的物理意义][Link 3]

![99aa05074ef3155e84e77ce209bb2a4d.png][]

[651d746bc03ca09e4817f2f98fbea555.gif]: /images/20220828/7f53245f62ab4278b1f13eac327a9863.png
[f184d0d32aefcee8e6a3b1f1c32bc279.png]: /images/20220828/9e6a84ed5724458aa4d23aa627b41085.png
[69c471af3f67b504ddb7c1ec556466bc.png]: /images/20220828/98e0ba285c6646469f2a6028d40a44e2.png
[4e443cfe57b307be16225d705aa3a90b.png]: https://img-blog.csdnimg.cn/img_convert/4e443cfe57b307be16225d705aa3a90b.png
[0ce57c292e1756656179b7656f0284c9.png]: /images/20220828/fa17319debd544e5ad0c84669fd31b75.png
[2beca813a0baa3bd558bf48ae47d04b5.png]: /images/20220828/d7cc1d5cdcbb4901998e972692b5f481.png
[62d54794feea8004be3db73cdaafffdd.png]: /images/20220828/5b7bc1defe584e8ca4e924f3e48d07df.png
[632a9683de19359d008007abecb761a2.png]: /images/20220828/b95ce38470574823af629dcbf598435b.png
[908333766ed3aecc5bcd3839cdab117d.png]: https://img-blog.csdnimg.cn/img_convert/908333766ed3aecc5bcd3839cdab117d.png
[2037f667a1b7e2c7c6779288f5f7e674.png]: https://img-blog.csdnimg.cn/img_convert/2037f667a1b7e2c7c6779288f5f7e674.png
[d5295a081e8166c3ad9705f9ab3ffa8d.png]: https://img-blog.csdnimg.cn/img_convert/d5295a081e8166c3ad9705f9ab3ffa8d.png
[4e19736db6145694288995c5b85ec653.png]: /images/20220828/8d8adb30b4af471a8be16adbfeec234f.png
[e39e8bd688702aa7056b32378e4ae3ed.png]: /images/20220828/3b724cdb41d9462db48f2dbaeb511966.png
[eba3ef24c765629a5ca1984a92c5aca7.png]: https://img-blog.csdnimg.cn/img_convert/eba3ef24c765629a5ca1984a92c5aca7.png
[46ccf7ecda0cce36aafe5121ec032be4.png]: /images/20220828/a031020dbb3a4739a02842b1ae7d45f3.png
[a5a0310c9bd49aa90c654f41396314ff.png]: /images/20220828/85f0172daff141449b1a4b34b1003357.png
[da0e88e9e9d376c66c728a93bcffa2e8.png]: /images/20220828/b502c2212e9d41e998eb671ef367dd20.png
[d2400984ad6922b7ac1cea91e855c667.png]: https://img-blog.csdnimg.cn/img_convert/d2400984ad6922b7ac1cea91e855c667.png
[e63148d35c6264bb5018ead202b7dcf2.png]: https://img-blog.csdnimg.cn/img_convert/e63148d35c6264bb5018ead202b7dcf2.png
[b426d5d77d404d2f1c09d4d74ebc39e0.png]: /images/20220828/a52992249d624391b6690586f01eea45.png
[4ebd718a369430f196c42536d130c1e2.png]: /images/20220828/6878ad840c054bd7a555190997a2752e.png
[bc09505cf2645ac88e3cbaf56a4a1181.png]: /images/20220828/b0e49a856c044e0ba73535075d9a8627.png
[0ce7398d6e77dee0d12df93296f9768f.png]: /images/20220828/dc47ca84d8ed47de95f5e4ad995999ba.png
[30a5be952c82e7033bad443ea315a956.png]: /images/20220828/884039d430434587974a7fd1c55e4cb4.png
[782287e5d68a2f1c7a6412c0d49034b1.png]: https://img-blog.csdnimg.cn/img_convert/782287e5d68a2f1c7a6412c0d49034b1.png
[536fcbc41cafb0a01ad01d10c6763200.png]: https://img-blog.csdnimg.cn/img_convert/536fcbc41cafb0a01ad01d10c6763200.png
[4ee7ee4f682e53b2a792ddc1caafa4de.png]: https://img-blog.csdnimg.cn/img_convert/4ee7ee4f682e53b2a792ddc1caafa4de.png
[2516609e3711ae5d80a05fe4bec1aa14.png]: https://img-blog.csdnimg.cn/img_convert/2516609e3711ae5d80a05fe4bec1aa14.png
[2b938cff458b6e2767e623c2904049ae.png]: https://img-blog.csdnimg.cn/img_convert/2b938cff458b6e2767e623c2904049ae.png
[f3f8db72737452900154d8ca9a6364bb.png]: https://img-blog.csdnimg.cn/img_convert/f3f8db72737452900154d8ca9a6364bb.png
[68965734b2eb2b3bf0015df4a659aef9.png]: https://img-blog.csdnimg.cn/img_convert/68965734b2eb2b3bf0015df4a659aef9.png
[91d8de0b4508b1fc1680f24468e03b3d.png]: https://img-blog.csdnimg.cn/img_convert/91d8de0b4508b1fc1680f24468e03b3d.png
[110a8430d2fbdc6b9cd6ea7e46356eab.png]: https://img-blog.csdnimg.cn/img_convert/110a8430d2fbdc6b9cd6ea7e46356eab.png
[944c684fdda007e7821ca06eec6cc487.png]: https://img-blog.csdnimg.cn/img_convert/944c684fdda007e7821ca06eec6cc487.png
[ccac3f6891db23cb7cb2072ae8b9ab14.png]: https://img-blog.csdnimg.cn/img_convert/ccac3f6891db23cb7cb2072ae8b9ab14.png
[8ab403a2278a669819df393a76e69285.png]: https://img-blog.csdnimg.cn/img_convert/8ab403a2278a669819df393a76e69285.png
[208de12ab5b090539179d9efed97b43f.png]: https://img-blog.csdnimg.cn/img_convert/208de12ab5b090539179d9efed97b43f.png
[daefc1e4c91fd942dce188c5f9816e50.png]: https://img-blog.csdnimg.cn/img_convert/daefc1e4c91fd942dce188c5f9816e50.png
[0c3e923317a4e77fbf3ec2172254e327.png]: /images/20220828/70b8ebec91a747d4a0721b07d737cbca.png
[38d43ab971ceafc97c6fd980484e23c7.png]: https://img-blog.csdnimg.cn/img_convert/38d43ab971ceafc97c6fd980484e23c7.png
[a3b413afb924fed9495ddb6f1b1b1667.png]: /images/20220828/0ea44181ea8348d88c328053af3e900a.png
[9b20e9115c3aea8ddee10b7deef4c9c3.png]: /images/20220828/d56cbcbf73794654a998e38bc2cb7737.png
[573ccf5b4936debe6fd68c7bfd401dbd.png]: /images/20220828/557ffabadfee4e74a24484bb2d7885f4.png
[545fe36509a5a7f63c32175ac8512f75.png]: https://img-blog.csdnimg.cn/img_convert/545fe36509a5a7f63c32175ac8512f75.png
[7b5bb2be284a24311c23d1cb390659c1.png]: https://img-blog.csdnimg.cn/img_convert/7b5bb2be284a24311c23d1cb390659c1.png
[7c1a52b01a88464c532067141ebe9776.png]: /images/20220828/8520bb5e24af4555b288653974dbe0a1.png
[9e87939213bcde328997b1ca5b7b3d2c.png]: /images/20220828/a00540cc31c54229af3bb4183e60916d.png
[9681461e00622827b63dfcce793c3fd5.png]: /images/20220828/5f9aec357d1d467db4a893fb7351bedb.png
[f25b2def5528c1b139f8bb65005fce89.png]: /images/20220828/2d625965b3d0484a8425bf3bc2e42406.png
[2d0393f8e936b2363503493fcd41c7ac.png]: /images/20220828/8d3152183f854eb5aa493cfc25cc435e.png
[cf50440783a459a3203fbdbee1d3d2b2.png]: /images/20220828/b886598c257b4e8598bcae7da73842f6.png
[2bdb18e00f194a524688db71c37a03ee.png]: /images/20220828/b6b513cea7a44f009011949ad20d9768.png
[a607b6168490928f08b1880ba0e22062.png]: https://img-blog.csdnimg.cn/img_convert/a607b6168490928f08b1880ba0e22062.png
[e3f10a01d12d896ca5361f2190b35c17.png]: https://img-blog.csdnimg.cn/img_convert/e3f10a01d12d896ca5361f2190b35c17.png
[c9c2e621cb0558541941552aba2c69f5.png]: /images/20220828/bb682f20299c41658e514823626f2373.png
[6dc67059b263760537068ba31f3e48dc.png]: /images/20220828/64c51ea3443d4bc7baccd68b1887c3b9.png
[8f56d118c24817fe5388e2692e41a017.png]: /images/20220828/9dc7e9add9de4ca381787f48a0376f0f.png
[b393b82678113934fa39014731f1a3b1.png]: /images/20220828/728fa69e94a34e0880152b79cae3acec.png
[f62ef1ef020b785e24929952c2490eb6.png]: /images/20220828/212ace355cd94637bad2d549a2b60d9b.png
[19f27f456bcefde1595def14736e399b.png]: https://img-blog.csdnimg.cn/img_convert/19f27f456bcefde1595def14736e399b.png
[38583e0b1c218f6b51e9b072ef4adcc8.png]: https://img-blog.csdnimg.cn/img_convert/38583e0b1c218f6b51e9b072ef4adcc8.png
[80f4172d1b5d9af87cb73091678bacfd.png]: https://img-blog.csdnimg.cn/img_convert/80f4172d1b5d9af87cb73091678bacfd.png
[0d960a5d6fa1243d2c64616741388e8b.png]: https://img-blog.csdnimg.cn/img_convert/0d960a5d6fa1243d2c64616741388e8b.png
[97758d08dfa511c692acc1de4a6ba88d.png]: https://img-blog.csdnimg.cn/img_convert/97758d08dfa511c692acc1de4a6ba88d.png
[7f902c9e9de2e0583f05e1333f857c47.png]: /images/20220828/a9c19276954a4cd9b74a35f944f70e9d.png
[836aa844138e7664efc2c770a3239593.png]: /images/20220828/0425d2346af842ad88fa1a0bcdf0a144.png
[83de0c41c8dfec179b71ca8470aea574.png]: /images/20220828/cfe7a6d301a844a99af7802dd849e825.png
[40665482be4aae9de0dab235103b1f97.png]: /images/20220828/226f463d38c043babe4d69b2776967b7.png
[e14dd4697b8985661dd125993ae8e681.png]: /images/20220828/2e26bc3f2b064009b69a40791f47ffe1.png
[6de53096d9002a7082fc3a929fe4bb31.png]: /images/20220828/7be279bc0444411a9eb4ce3ba1b6603a.png
[e0491c7d0868940ea36adadd7044a87c.png]: /images/20220828/c56d1bee4f5e4b2aa2fb67ad5e04878e.png
[798690257b37728279bd0166f8fcd159.png]: /images/20220828/c3f5a5a7e88047028f92bcddcfd3e6e7.png
[f7620345890679cf479c7693fe8503bc.png]: /images/20220828/79747776af574cd99ca2d92047911404.png
[4d0abe3fc1c4d21bc32438de5afdb7bd.png]: /images/20220828/8e21914503d94b738813caadcf674248.png
[09bfb2c2af3c2134abfdfb90419e07a5.png]: /images/20220828/90eded8397a043cd94903972b940055e.png
[950c51bd67fa9d7d9e803f639c94983d.png]: /images/20220828/57f456cb51554653b27d1918caf34619.png
[fa8cd29fcff10b7611807966c74a2c9e.png]: https://img-blog.csdnimg.cn/img_convert/fa8cd29fcff10b7611807966c74a2c9e.png
[d31258ce44877a66451e12287e11f24e.png]: https://img-blog.csdnimg.cn/img_convert/d31258ce44877a66451e12287e11f24e.png
[4720d46515a0340a754be9a73926af49.png]: /images/20220828/4b8405de44a04c5eb382b318dc25f016.png
[31c67f5ac2024be4712a1e1c13f22a3e.png]: https://img-blog.csdnimg.cn/img_convert/31c67f5ac2024be4712a1e1c13f22a3e.png
[3c510bc04afced3aa3e88c3539be50bd.png]: https://img-blog.csdnimg.cn/img_convert/3c510bc04afced3aa3e88c3539be50bd.png
[cf17ed6f57bcde2c0289fcbae2c08581.png]: /images/20220828/bb54376b0f1a4caf8928ccc7258c3dc2.png
[78f64486883e5a143c36d23ee9e3e585.png]: /images/20220828/daba29b8fb594cda92f57ab96ae911fc.png
[363aa49594ca5cd8c8f12f9f563fe621.png]: /images/20220828/f13d3eb75aab4e1382766739c7cbc81e.png
[50f57f1e522c3f3f7f10629b298fd1e4.png]: /images/20220828/709972f7ead44f108065ad910a8d1f08.png
[ba485cd5e8ca10ebf9e424766182da7b.png]: /images/20220828/16aad9d15a914c99b82ef0001828754a.png
[2d803f42047db78263042c328ae69045.png]: https://img-blog.csdnimg.cn/img_convert/2d803f42047db78263042c328ae69045.png
[3574fb4918c48a1e24214dd382aec3c5.png]: /images/20220828/c3e27d7288254fa8b51ab2cb90f23a02.png
[29d4315d55a2fea77a144a3fd5b7473e.png]: https://img-blog.csdnimg.cn/img_convert/29d4315d55a2fea77a144a3fd5b7473e.png
[c94f503ebb334cae68b4523b27e8ede5.png]: https://img-blog.csdnimg.cn/img_convert/c94f503ebb334cae68b4523b27e8ede5.png
[d045468e6d179a738a56b706dcd6564a.png]: https://img-blog.csdnimg.cn/img_convert/d045468e6d179a738a56b706dcd6564a.png
[1323d960216dbfda27d5ea2503488e9a.png]: https://img-blog.csdnimg.cn/img_convert/1323d960216dbfda27d5ea2503488e9a.png
[5e34cc504ee04bf6376fa8d7e21e02b9.png]: https://img-blog.csdnimg.cn/img_convert/5e34cc504ee04bf6376fa8d7e21e02b9.png
[423df9c1343fd609c97763f6d679bd69.png]: /images/20220828/56e5cf8f38184a939920e8f94685ca5a.png
[ac6e1b606b23be1c39ae4dd34c0687d7.png]: https://img-blog.csdnimg.cn/img_convert/ac6e1b606b23be1c39ae4dd34c0687d7.png
[e9fcf4a04e558ee4438ade108f995675.png]: https://img-blog.csdnimg.cn/img_convert/e9fcf4a04e558ee4438ade108f995675.png
[f1af181acf48e5dc8994be727968865b.png]: https://img-blog.csdnimg.cn/img_convert/f1af181acf48e5dc8994be727968865b.png
[8be1487f5e9203f846019d6fd3672eda.png]: https://img-blog.csdnimg.cn/img_convert/8be1487f5e9203f846019d6fd3672eda.png
[f55a6cde97dcc59c17456a13c1c4c969.png]: https://img-blog.csdnimg.cn/img_convert/f55a6cde97dcc59c17456a13c1c4c969.png
[3cfd825edd8e7481b10a4ee11fb527d0.png]: https://img-blog.csdnimg.cn/img_convert/3cfd825edd8e7481b10a4ee11fb527d0.png
[d4e6cce0ba2faa40188242cb99cdcfc2.png]: https://img-blog.csdnimg.cn/img_convert/d4e6cce0ba2faa40188242cb99cdcfc2.png
[6527cd350b9cfcf38eb44650a3e61c3f.png]: https://img-blog.csdnimg.cn/img_convert/6527cd350b9cfcf38eb44650a3e61c3f.png
[76113adda35ec60275990bf8cb811838.png]: https://img-blog.csdnimg.cn/img_convert/76113adda35ec60275990bf8cb811838.png
[70ba6bf111a7e0d57b2f4cdcd6ecf76a.png]: https://img-blog.csdnimg.cn/img_convert/70ba6bf111a7e0d57b2f4cdcd6ecf76a.png
[fcc700114363466a4a65851cd64aaf88.png]: https://img-blog.csdnimg.cn/img_convert/fcc700114363466a4a65851cd64aaf88.png
[ff1244a3f0b38d2fd0c803a2f93aa7eb.png]: https://img-blog.csdnimg.cn/img_convert/ff1244a3f0b38d2fd0c803a2f93aa7eb.png
[3db903ede5b5a825a21e94c3e23574f3.png]: https://img-blog.csdnimg.cn/img_convert/3db903ede5b5a825a21e94c3e23574f3.png
[b91d230dc27f40e98c783cf554acec2e.png]: https://img-blog.csdnimg.cn/img_convert/b91d230dc27f40e98c783cf554acec2e.png
[e01221860ec49af6282e866df1e5c21e.png]: https://img-blog.csdnimg.cn/img_convert/e01221860ec49af6282e866df1e5c21e.png
[6e6762a0c708104bbdec9d78b4505901.png]: https://img-blog.csdnimg.cn/img_convert/6e6762a0c708104bbdec9d78b4505901.png
[0b31632fe55919f8733bd3f2083abd34.png]: https://img-blog.csdnimg.cn/img_convert/0b31632fe55919f8733bd3f2083abd34.png
[8382da9dce517708962a74cbc5cb8a17.png]: https://img-blog.csdnimg.cn/img_convert/8382da9dce517708962a74cbc5cb8a17.png
[f4c5fd59be56882159b17be94e590fe2.png]: https://img-blog.csdnimg.cn/img_convert/f4c5fd59be56882159b17be94e590fe2.png
[6757210fd462f89832ea0e30fa9514f0.png]: https://img-blog.csdnimg.cn/img_convert/6757210fd462f89832ea0e30fa9514f0.png
[a6dabc1449c769e928b221ded433301b.png]: https://img-blog.csdnimg.cn/img_convert/a6dabc1449c769e928b221ded433301b.png
[582b29e98a07c0e2ec5c37689e1af931.png]: /images/20220828/6f6249fd342a4e3a80fddcc338357ded.png
[3be638b0641ade94e2fe20b13151e090.png]: https://img-blog.csdnimg.cn/img_convert/3be638b0641ade94e2fe20b13151e090.png
[9a01c96534ed3c56da77f7d3d918bf94.png]: https://img-blog.csdnimg.cn/img_convert/9a01c96534ed3c56da77f7d3d918bf94.png
[51f4246ad6b16312fb402f4a98ba9021.png]: https://img-blog.csdnimg.cn/img_convert/51f4246ad6b16312fb402f4a98ba9021.png
[ecd4e6a2eefb1540ce495c5d5214d273.png]: /images/20220828/632934ea41bf4fa1888e1136ea40e4d3.png
[b2c8d826a094592550cd48adb07c4a52.png]: https://img-blog.csdnimg.cn/img_convert/b2c8d826a094592550cd48adb07c4a52.png
[08bad5f02d51a59cb14e3a387c1b959a.png]: https://img-blog.csdnimg.cn/img_convert/08bad5f02d51a59cb14e3a387c1b959a.png
[13d5f2127999ec03dd0dc929da9f0b29.png]: https://img-blog.csdnimg.cn/img_convert/13d5f2127999ec03dd0dc929da9f0b29.png
[584c22a348f691cd12298bac03cf385e.png]: https://img-blog.csdnimg.cn/img_convert/584c22a348f691cd12298bac03cf385e.png
[123b09ce4523f921e6d8d65104de0698.png]: https://img-blog.csdnimg.cn/img_convert/123b09ce4523f921e6d8d65104de0698.png
[c64081d36dcb34077d4793fd2ec10e86.png]: https://img-blog.csdnimg.cn/img_convert/c64081d36dcb34077d4793fd2ec10e86.png
[f411c1e9e4ce42ff6cc482123be985e1.png]: /images/20220828/806f1440e5144372944640a1eba620ac.png
[64bd2a8647be39478131a7aa5f482ad8.png]: /images/20220828/3dcea8be816c427ca7b18ee1a16e9454.png
[f14d4d171261e1ff66d52ef55606e22a.png]: /images/20220828/12802c89418149f4b312885f2daf7451.png
[25684d691593f6c6ed865b7091f8e0ac.png]: https://img-blog.csdnimg.cn/img_convert/25684d691593f6c6ed865b7091f8e0ac.png
[658cc4bc2813e3df8a5dd7afbc69c548.png]: https://img-blog.csdnimg.cn/img_convert/658cc4bc2813e3df8a5dd7afbc69c548.png
[86ae4215a7f721323de8b41bc4edf4b8.png]: https://img-blog.csdnimg.cn/img_convert/86ae4215a7f721323de8b41bc4edf4b8.png
[dd2f60012a3e6f33b17383cb536f11c2.png]: https://img-blog.csdnimg.cn/img_convert/dd2f60012a3e6f33b17383cb536f11c2.png
[51ba29602ee020acda8656774c00b688.png]: https://img-blog.csdnimg.cn/img_convert/51ba29602ee020acda8656774c00b688.png
[0524ea77fa7a137254cecbafb545f268.png]: https://img-blog.csdnimg.cn/img_convert/0524ea77fa7a137254cecbafb545f268.png
[5a54b1e8f7ab30a58241730c2ed568c6.png]: /images/20220828/cbc73df44f714435a332199dff98864c.png
[7336025255618aafdbed84243bddbb87.png]: https://img-blog.csdnimg.cn/img_convert/7336025255618aafdbed84243bddbb87.png
[5a06ab4da211a0e6e3181fd9d88c5df5.png]: https://img-blog.csdnimg.cn/img_convert/5a06ab4da211a0e6e3181fd9d88c5df5.png
[95e5ddcadc3112ede881fc86fe9d9695.png]: https://img-blog.csdnimg.cn/img_convert/95e5ddcadc3112ede881fc86fe9d9695.png
[e080217331c4d5fa3e188a6b1af428db.png]: https://img-blog.csdnimg.cn/img_convert/e080217331c4d5fa3e188a6b1af428db.png
[1f0d564c17a39e1324527499a28ff030.png]: /images/20220828/34ef3ef1651e40d58b502864b37a2c69.png
[db967a14a38bef213a1aba5d544bbe6f.png]: https://img-blog.csdnimg.cn/img_convert/db967a14a38bef213a1aba5d544bbe6f.png
[655bde88a89b30f44002d4fa24c4a5c9.png]: https://img-blog.csdnimg.cn/img_convert/655bde88a89b30f44002d4fa24c4a5c9.png
[caff76dfb3287770538961aee44a2082.png]: https://img-blog.csdnimg.cn/img_convert/caff76dfb3287770538961aee44a2082.png
[58d2fd5fd7467e9557da2c073867c176.png]: /images/20220828/ffca9202abfe466883af033ee943e751.png
[NLP_NLP]: http://mp.weixin.qq.com/s?__biz=MzI4NTY3OTU3MA==&mid=2247492072&idx=1&sn=7a2062133057efea112d21e6f3e28399&chksm=ebea2b55dc9da2430aa4ce93d0b2270c7877b13b4ca3d80de524e1b787cf53b6e005814ec9bc&scene=21#wechat_redirect
[10_]: https://blog.csdn.net/FnqTyr45/article/details/98476814
[Link 1]: https://blog.csdn.net/q22200p/article/details/79918279
[Link 2]: https://blog.csdn.net/zw0Pi8G5C1x/article/details/88547184
[300]: https://blog.csdn.net/FnqTyr45/article/details/120480043
[Link 3]: https://blog.csdn.net/FnqTyr45/article/details/107724018
[99aa05074ef3155e84e77ce209bb2a4d.png]: /images/20220828/d8c9a54743954fde9f6a4c5ae55bdd15.png