GAN详细介绍。

拼搏现实的明天。 2023-02-18 08:05 211阅读 0赞

## 目录： ##

1.  新手村  
    1.1. 应用  
    1.2. GAN的问题  
    1.2.1. Mode collapse（模式坍塌）  
    1.2.2. Diminished gradient （梯度衰退）  
    1.2.3. Non-convergence（不收敛）  
    1.3 评价指标（IS 和FID）
2.  各种各样的GAN（按照创新方向分类GAN）  
    2.1. 网络设计  
    2.1.1. DCGAN  
    2.1.2. CGAN  
    2.1.3. Stacked or progressive GAN  
    2.2. Cost function  
    2.2.1. 添加新的成分（penalty）到cost function 来对特定信息进行惩罚。  
    2.2.2. 使用一个tips 来防止过拟合。  
    2.2.3. 重新设计cost function 来保证梯度不消失（non-vanishing）不爆炸（non-exploding）。  
    2.2.3.1. Feature matching  
    2.2.3.2. LSGAN  
    2.2.3.3. WGAN & WGAN-GP  
    2.2.3.4. Energy based GAN (EBGAN) & Boundary Equilibrium GAN (BEGAN)  
    2.2.3.5. 小总结一下loss function

## 一, 新手村 ##

从2016年底，GAN已经能生成非常清晰的人脸图像，不仅如此他还能任意调节人脸的年龄，性别等特征。比我下面我们看到的styleGAN，它可以轻易的生成1024\*1024的人脸高清图。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]  
是不是很NB，一定很难对不对，我们其实可以一步一步来，要不然怎么能带你入门，带你放弃（狗头。。）  
![在这里插入图片描述][20200616144240261.png]  
让我们从 `generator`（生成器）开始。

`generator` 是一个`Generative model`。一个初始的`generator`（`weight` 为随机值）只能输出随机噪声。为了让这个模型收敛，我们需要一个`loss function`。如果选定了一个合适的`loss function` 而且 模型效果还不错，那恭喜你，你就不需要GAN了。为什么呢？这是因为通常来说，这个`loss function` 是很难选的。loss function 无论是 l1, l2 or others，都是认为设计的，这和现实生活中未知的loss有所不同，就好比，你能否设计一个loss来计算xbox和switch之间的相似度？我想这一定很难，且很复杂，于是我们在想能不能来让另一个模型来帮我们呢？于是我们引入了discriminator来自动学习loss function。  
![在这里插入图片描述][20200616144259812.png]  
于是我们就有了GAN的最基本的形式：**generator + discriminator**

早期的GAN研究侧重于图像生成，但它已经扩展到其他领域，如动画人物、音乐视频等等。另一个流行的扩展是跨域GAN，它将数据从一类信息(比如音频)转换为另一类(图像)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]  
在上面的例子中，我们添加了一个 encoder 来提取音频的特征，然后是一个generator 来创建图像。真实和生成的图像被输入一个discriminator (又称编码器，后面跟着一个sigma函数)，以识别它是否是真实的。  
![在这里插入图片描述][20200616144511559.png]  
GAN也可以用 meta-data（元数据：就是关键的属性信息）来生成图像，例如通过轮廓来生成图像。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]  
我们将meta-data输入到encoder以生成图像。我们还将原始图像（或有时是元数据）作为附加输入传递给 discriminator 以区分图像。  
![在这里插入图片描述][20200616144538130.png]  
好吧，到现在为止，你应该知道了这些GAN的常见应用场景，你也对GAN有了一个大体的理解。是不是很神奇？那我们来看一些GAN的缺点吧。

## 二、GAN的问题 ##

GAN就像它的发音，简单粗暴，但是现实不是你想gan， 想gan就能gan。GAN网络因为很多的问题，所以没有大范围使用 （排列分先后，越前越长见）：

*  **Mode collapse（模式坍塌）：generator 生成的图像都特别像。**
 *  **Diminished gradient （梯度衰退）：因为discriminator太成功了，以至于gradients vanish（梯度消失）让 generator 学不到新东西。后面我们会提到WGAN，就是为了解决这事。**
 *  **Non-convergence（不收敛）：模型参数振荡、不稳定且永不收敛。经常过拟合，对hyperparameter超敏感**

**1、模式坍塌：**  
![在这里插入图片描述][20200616144813346.png]  
其实，完全坍塌不常见，但是有一半的图像很像还是会经常遇到的。我们对这个问题的研究时期还是有限的，总体来说可以缓解，但是治标不治本。

**2、梯度衰退**

大家都知道`deep learning` 或者说`CNN`结构都是由梯度的反向传播来更新每层的权重值。就像你站在悬崖边，圆润的滚下去你就会达到山底，但是如果中间你被树挡住了，你就不能达到渴望的谷底，于是你就很失望，模型也就训练失败了。

**3、不收敛：**

下图为学习率（x轴）和FID（一种评价指标，值越高越好）关系，我们可以看到，不同参数差别较大，主要他还没规律，你说急不急。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3]  
没有合理的评价指标，以至于训练成了纯炼丹。  
早期的评价指标比较原始，就是直接看图像生成的好坏，到后来这个指标就不再有用了，为什么？一是因为很多方法足够优秀，生成的图肉眼很难看出差别，另外一个原因就是这是炼丹，很多人的方法你复现不了，不是每次都成功，于是我急需一个指标。

**Inception Score (IS)**： `Inception network`是一个常见的预训练好的分类模型，我们假设如果我们生成的图像骗过了这个分类器，让他给出了相应的分类，例如我们生成的人脸被分类模型也被分成了人脸，那么我们就认为我们生成的成功，这个人脸的信度就是我们`IS`的分数。`IS`主要考虑两类信息：生成图片质量和图片多样性。![在这里插入图片描述][20200616145019927.png]  
其中`P(y|x)`体现的是图像质量，由`Inception network`的分类结果决定的，值越小越好，说明这个样本越清晰。`P(y)`体现的图片多样性，如果生成的图片多样，y的分布应是高熵的（例如均匀分布）值越大越好，说明生成的样本在各类上分布越平均。IS的主要问题是，没办法对小批次的样本进行准确的评判，除此以外，不能反应过拟合，对参数敏感，有时候数据很好，图片很差，所以，**IS指标很少用了**。

**Fréchet Inception Distance (FID)**: 也是通过`Inception network` 来测量真实图像和生成图像的特征差值，FID越小越好，为什么需要这个呢？因为IS不能包含所有的物体种类，可能真实图像通过`Inception networks`也不一定能得到较准确的分类。用差值更能体现`GAN`的性能。同时FID对小批次也有效。但是`FID`也有问题， 比如比较两个真实图片，理想的结果是为0，但是现实是非0的，这和理论相佐。

## 三，各种各样的GAN ##

`GAN`的设计其实有很多很trick的事情，不过作为新手的我们，如果想水一篇论文，我们主要讨论一下三个方面创新。

## 1. 网络设计 ##

## （1）DCGAN ##

DCGAN是最有名的GAN网络  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]  
技术要点:

1.  将 `max-pooling`替换为卷积层，保住了`spatial information`，提升了`image quality`。
2.  用`transposed convolution`（逆卷积）来进行 `upsampling` 上采样。
3.  全面消除全连接层。
4.  全面采用`batch normalization` （BN）

## （2）CGAN ##

原本`GAN`网络的输入时一个`N*1` 维的高斯噪声，每一维经过映射能控制生成的什么信息，只有玉皇大帝才知道。于是，有人就像把其中一个维度不在输入噪声，而是训练数据的label信息，这样通过这个label值我们就能生成不同种类的图像了，这就是 `Conditional GAN (CGAN)`。

## （3）Stacked or progressive GAN ##

如同传统`boosting` 检测器，你训练一个大而全的分类器很困难，但是你可以分别训练很多小的分类器，然后把他们组合在一起，就会得到一个更好的模型，训练难度也小很多。

`Stacked GAN`就是这个思路，他把一个`GAN`分离成3个`GAN`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 5]  
`progressive GAN` 是另一个思路，并在超分辨率领域有很好的效果。我们先生成一个`22`的图片，然后`44`，然后越来越大。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 6]  
这个三个GAN非常适合起步，也能解决大多数问题，后边的GAN大多数实在这三个GAN上做修改

## 2. Cost function ##

`cost function` 是`GAN`主要的研究方向，也是魔改`GAN`的重灾区，可能有的工作性能有限，不过不乏好的`GAN`。总结起来，无非三个方向：

#### **一、添加新的成分（`penalty`）到`cost function` 来对特定信息进行惩罚。** ####

在深度学习中，我们会增加一个额外的`cost`来满足我们希望某一特性收敛的需求。对于`GAN`来说，更多的研究者想用这个方法来解决`mode collapse`的问题。

**1、Minibatch discrimination**：由这种思想指导出来最有用的方法就是 `Minibatch discrimination`。我们将生成的图像和真实的图像划入到一个一个的`batch`中。对于同一`batch`下的不同`sample`（图像），我们会计算它和其他图像的似然度，并将这类信息添加到 `discriminator` 的 `cost function` 中。当`mode` `collapse` 发生时，图片的相似度上升，于是`cost` 也就增加了，从而惩罚`generator`。

#### **二、使用一个tips 来防止过拟合。** ####

毕竟`GAN`也是深度学习的结构，我们也能用深度学习的方法来进行改良。比如，`One-sided label smoothing`，通俗来说，原始`GAN`的训练过程中中，我们希望对于真实图像，`discriminator`能输出1。对于生成图像，`discriminator`能输出0。但是！`discriminator` 训练的太好，就会`mode collapse` 和 梯度消失，同时你也不能保证自己的真实图像一定不含误差（训练数据把屁股标成了脸）。所以，我们退而求其次，希望真实数据的`discriminator`输出不再是1，而是0.9，生成图像不再为0而是0.1。做人留一线，‘日后’好相见。

这样做可以很好的缓解`mode collapse`，但是治标不治本，它经常只是将坍塌的时间往后延，该塌的时间长了还是会塌。

#### **三、重新设计cost function 来保证梯度不消失（non-vanishing）不爆炸（non-exploding）** ####

打南边来了一个`generator`，打北边来了一个`discriminator`。`generator` 想骗过`discriminator`，但是`discriminator`不想被`generator`骗。于是，`generator` 没骗过，发生了`gradient vanish`。

从新设计`coss function` 就是设计一个更好的`cost`，来协助`generator` 来骗过`discriminator`。那为什么在原始的GAN中，`generator` 这么劣势呢？我们来看一下原始`cost`。  
![在这里插入图片描述][20200616151958261.png]  
在原始的`GAN`中，我们有两个`cost`，一个是`Distriminator`的`cost`， 另一个`generator`的`cost`。我们的目的是尽可能把真实图片标记为真，生成图片标记为假。为了衡量这个`loss`，我们选用`cross-entropy`。其实GAN的训练过程就是一个`minimax`的游戏，G希望尽可能的减小V，D希望尽可能的增大V。在训练过程中，实在交叉梯度下降完成的，首先经`generator` 的参数固定住，然后训练一次`discriminator`（输入一个batch）。 然后固定`discriminator`，训练一次`generator`。交替往复。直到`generator`能骗过`discriminator`。他的流程图为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 7]  
原始的cost存在梯度消失的问题。为什么会消失，我们后面会说。  
![在这里插入图片描述][20200616152144497.png]  
我们这里主要先梳理一下历史。

##### （1）、Feature matching #####

这里主要改良generator的loss。希望生成的图像概率分布和真实图像重合（似乎是废话。。。）。例如，我们计算真实图像和生成图像在minibatch中的特征（feature）的均值。然后我们用l2 loss来计算这两个均值的差值。缩小这个差值，我们就能得到两个均值相同的分布（睁一眼闭一眼他就是一个两个一样的分布）。所以，cost就变成了  
![在这里插入图片描述][20200616152422565.png]

##### （2）、LSGAN #####

原始的`GAN`采用的`JS divergency`，那我们就换成别的`divergency`，第一个就是`f-divergency`。  
![在这里插入图片描述][20200616152520687.png]  
于是`loss`就变成了  
![在这里插入图片描述][20200616152537234.png]  
一下把一个复杂的log问题拉成我们熟悉的。  
![在这里插入图片描述][20200616152601201.png]

##### （3）、WGAN & WGAN-GP #####

`WGAN`的思想就是应用`Wasserstein distance` 来代替`JS divergency`测量两个分布的区别（你可能想了，为什么测量两个分布区别的量度，这么多？没错就是这么多，别说两个分布，两个点的距离都不只有欧式距离这一个量度，所以有很多量度是很正常的，总有一款适合你）。 那`wasserstein` 距离又是代表什么呢？让我们来几个例子。

![在这里插入图片描述][20200616152703270.png]  
我们的目的是将左边的分布（盒子）变成右边的分布（盒子）。Wasserstein distance的核心思想就是尽量少的搬运盒子。但是如何才是最少的方法呢？我们拿一个网络来学习一下吧，于是就有了critic， 其实就是一个加强版的discriminator。为了方便起见，我们还是用D表示吧。

下面我们来看一下，在cost function 的体现。我们希望建立一个平滑的，处处可导的cost function。在下图中，蓝色为真实分布，绿色为生成数据的分布。红色为discriminator的cost function，我们发现虽然discriminator有效的区分了两个分布，但是当蓝绿两个分布没有交集时，在大量的点上的cost function为常数值，于是就猴子的哥哥狒狒（废废）了，梯度为0，generator 不能更新了。这是我们看一下wasserstein 距离，它体现为那个草绿色的线，它平滑，可导这就是我们要寻找的cost function。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 8]  
它的数学定义式为：  
![在这里插入图片描述][20200616152731215.png]  
我们来对比一下`GAN` 和 `WGAN`  
![在这里插入图片描述][20200616152750816.png]  
这里的D不再是输出0 和 1 了，而是输出一个评价指标，来评价生成的图片质量。虽然wgan看似完美，但是D必须是一个1-Lipschitz（如果不是的话，function就不再是凸函数了，你就不知道收敛到哪了）  
![在这里插入图片描述][20200616152804924.png]  
因为这个概念，wgan引入了另一个改良，权重修剪。通入来说，有时候呀weight更新来快了，高于正常值。怎么解决呢？weight变化值设一个阈值，变化太多砍了！就像老板规定，你加班加工资，但是工资有个上线，你休想通过春节加班来实现switch 自由。数学表达式为：  
![在这里插入图片描述][20200616152820560.png]  
c就是这个阈值，通常为0.01，但是新的问题又来了，c的值很玄学。。。太小了，梯度消失，太大了，梯度爆照。为了让我们的炼丹更稳定一点，我们再cost function 加一个penalty （惩罚项），这就是wgan-GP。  
![在这里插入图片描述][20200616152843469.png]  
好了，具体的数学推到，我们在后边再仔细说一下。

##### （4）、Energy based GAN (EBGAN) & Boundary Equilibrium GAN (BEGAN) #####

许多GAN由 encoder 和decoder组成，并增加cost penalty 以让encoder捕获重要特性。

EBGAN：就是将 discriminator 替换为一个autoencoder (encoder + decoder)。这个新的discriminator用 reconstruction cost (MSE) 来作为cost function。通俗来说我们不再区分真实图像和生成图像，我们只是单纯得认为如果生成图像能很好被decoder还原，那么我们就认为这个图像合格。  
![在这里插入图片描述][20200616152919328.png]  
于是我们得到`cost function`：  
![在这里插入图片描述][20200616152941608.png]  
`BEGAN`: 和`EBGAN`类似，也是结合了`autoencoder`，但是`cost function`不同。它采用一个近似法来测量`Wasserstein distance`。  
![在这里插入图片描述][20200616152953237.png]  
其中L为 `autoencoder` 的输出。

## 小总结一下loss function ##

loss function 千千万，哪个是最好的？Google Brain的有位大佬说过，loss function的贡献不如调参，虽然大家都跨wgan，说实在的在我的使用过程中经常遇见它的performance 还不如DCGAN。所以很多时候，都是仁者见仁智者见智的。不过，cost function 还是有一些明显的发展趋势。

**1、discriminator 不再输出 0 和 1。而是，输出一个评价指标，这样我们就不用去考虑FID，省时省力。  
2、discriminator 的输入应为生成图片+真实图片。这样的结果，让discriminator 着重于区分两幅图片这个根本的问题。于是，就有了RGAN 和 RaGAN。好了还是不挖坑了。。。**

![在这里插入图片描述][2020061615310645.png]  
最后，我们把常见GAN的loss function 列出来，大家自己选吧，我不背锅。。。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 9]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200616143848976.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[20200616144240261.png]: https://img-blog.csdnimg.cn/20200616144240261.png
[20200616144259812.png]: https://img-blog.csdnimg.cn/20200616144259812.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200616144448535.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[20200616144511559.png]: https://img-blog.csdnimg.cn/20200616144511559.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200616144524450.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[20200616144538130.png]: https://img-blog.csdnimg.cn/20200616144538130.png
[20200616144813346.png]: https://img-blog.csdnimg.cn/20200616144813346.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200616144943104.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[20200616145019927.png]: https://img-blog.csdnimg.cn/20200616145019927.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200616150805622.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200616151144752.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200616151208821.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[20200616151958261.png]: https://img-blog.csdnimg.cn/20200616151958261.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200616152106253.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[20200616152144497.png]: https://img-blog.csdnimg.cn/20200616152144497.png
[20200616152422565.png]: https://img-blog.csdnimg.cn/20200616152422565.png
[20200616152520687.png]: https://img-blog.csdnimg.cn/20200616152520687.png
[20200616152537234.png]: https://img-blog.csdnimg.cn/20200616152537234.png
[20200616152601201.png]: https://img-blog.csdnimg.cn/20200616152601201.png
[20200616152703270.png]: https://img-blog.csdnimg.cn/20200616152703270.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200616152718130.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70
[20200616152731215.png]: https://img-blog.csdnimg.cn/20200616152731215.png
[20200616152750816.png]: https://img-blog.csdnimg.cn/20200616152750816.png
[20200616152804924.png]: https://img-blog.csdnimg.cn/20200616152804924.png
[20200616152820560.png]: https://img-blog.csdnimg.cn/20200616152820560.png
[20200616152843469.png]: https://img-blog.csdnimg.cn/20200616152843469.png
[20200616152919328.png]: https://img-blog.csdnimg.cn/20200616152919328.png
[20200616152941608.png]: https://img-blog.csdnimg.cn/20200616152941608.png
[20200616152953237.png]: https://img-blog.csdnimg.cn/20200616152953237.png
[2020061615310645.png]: https://img-blog.csdnimg.cn/2020061615310645.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200616153117691.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2,size_16,color_FFFFFF,t_70