梳理 Normalization 发展历程

忘是亡心i 2022-11-05 00:45 212阅读 0赞

> 点击“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

作者丨没头脑@知乎 转自丨极市平台

来源丨https://zhuanlan.zhihu.com/p/75539170

本篇文章用于总结近年来神经网络中 Normalization 操作的发展历程。其中，包括：Local Response Normalization, Batch Normalization, Weight Normalization, Layer Normalization, Instance Normalization, Consine Normalization, Group Normalization。

*  Local Response Normalization
 *  Batch Normalization
 *  Weight Normalization
 *  Layer Normalization
 *  Instance Normalization
 *  Consine Normalization
 *  Group Normalization

# 1. Local Response Normalization #

LRN 最早应该是出现在 2012 年的 AlexNet 中的，其主要思想是：借鉴“侧抑制”（Lateral Inhibitio）的思想实现局部神经元抑制，即使得局部的神经元产生竞争机制，使其中相应值较大的将变得更大，响应值较小的将变得更小。此外，作者在论文中指出使用 LRN 能减少其 AlexNet 在 ILSVRC-2012 上的 top-1 错误率 1.4% 和 top-5 错误率 1.2%，效果较为显著。

![c6f3ab2af83440885ce013df932e4422.png][]

其中， ![format_png][] 表示输入中第 ![format_png 1][] 个 FeatureMap 中位于 ![format_png 2][] 的响应值， ![format_png 3][] 表示输出中第 ![format_png 1][] 个 FeatureMap 中位于 ![format_png 2][] 的响应值， ![format_png 4][] 都是由验证集所决定的超参数 (Hyper-Parameter)。论文中的设定为： ![format_png 5][] 。

在 2015 年的 VGG 中，该论文指出 LRN 在 VGG 并无任何用处：

![09662960e8420869afd11c268f8e7756.png][]

此后，随着 Batch Normalization 等不同 Normalization 的出现，LRN 也开始逐渐落寞。

PyTorch 相关文档：

![7e2cdb33180570fb9f833c64e3987fe7.png][]

# 2. Batch Normalization #

BN 应该算是目前使用最多的 Normalization 操作了，现在甚至可以说是 CNN 网络的标配。自 2015 年 2 月的 Inception V2（https://arxiv.org/pdf/1502.03167.pdf） 提出之后，也引出了后续许多不同的 Normalization 的提出。

作者在论文中指出，提出 Batch Normalization 是目的为了解决 ‘internal covariate shift’ 现象（这个应该是属于机器学习的问题，我无法进行详细表达，建议查看其他文章），经过测试后，发现使用 BN 能加速神经网络的收敛速度，并使得神经网络对于初始化的敏感度下降。

在 深度学习中 Batch Normalization为什么效果好？（https://www.zhihu.com/question/38102762/answer/85238569）中，答者指出其实 BN 解决的是梯度消失问题（Gradient Vanishing Problem），我感觉其实有点道理的。）

![283a3354676fbb9fe1ad7db3c180e310.png][]

其中， ![format_png 6][] 为输入数据， ![format_png 7][] 为数据平均值， ![format_png 8][] 为数据方差， ![format_png 9][] 和 ![format_png 10][] 为学习参数。此外， ![format_png 7][] 和 ![format_png 8][] 是统计量，随着 Batch 的迭代不断更新（一般实现都会对其做滑动平均，不然当 Batch Size 较小时，其统计值的波动会很大，导致网络无法收敛的）。

在 BN 中，作者之所以加上 ![format_png 9][] 和 ![format_png 10][] 这两个仿射参数（Affine Parameter），是为了使得经过 BN 处理后的数据仍可以恢复到之前的分布，从而提升了网络结构的 Capacity，即在做出一定的改变的同时，仍保留之前的能力。

此外，除了 BN 背后的原理这一话题外，大家对 Batch-normalized 应该放在非线性激活层的前面还是后面？这一话题的讨论也比较激烈，并没有达成统一的观点，只是大部分实验表明BN 放在非线性激活层后比较好，不过仍需要具体任务具体分析。

PyTorch 相关文档：

![0c40ba842a6535b5d094f44675ada6ab.png][]

注意，在 PyTorch 中冻结 BN Layer，不仅需要对将其参数的 requires\_grad 设为 False，还需要将该层的 training 设为 False，即调用 eval 函数；否则，将会导致统计量不断更新，而仿射参数却一直处于冻结状态。此外，一般都会设置 track\_running\_state 为 True，以减小 Batch Size 所造成的统计量波动。

# 3. Weight Normalization #

在 2016 年 2 月的 Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks （https://arxiv.org/pdf/1602.07868.pdf）中，作者提出了与 BN 完全不同的 Normalization 操作：Weight Normalization，并指出：相较于 BN，WN 摆脱了对于 Batch 的依赖，这意味这 WN 完全可以用在 RNN 网络中（如：LSTM ）以及对于噪声敏感的任务（如：强化学习、生成式模型）中；此外，WN 的计算成本低，可以减少模型的运行时间。

与 BN 不同的是， WN 并不是对输入的特征数据进行归一化操作，而是对神经网络中指定的层的参数做归一化操作。

在论文中，作者将神经网络的层表示为 ![format_png 11][] ，其中， ![format_png 12][] 为权重向量， ![format_png 13][] 为偏置参数， ![format_png 14][] 为输入向量， ![format_png 15][] 为非线性激活函数。而 WN 就是对 ![format_png 12][] 做归一化，将 ![format_png 12][] 分解为 ![format_png 16][] 。其中， ![format_png 17][] 为单位向量，代表 ![format_png 12][] 的方向， ![format_png 18][] 为标量，代表 ![format_png 12][] 的长度， ![format_png 19][] 为 ![format_png 20][] 的欧式范数。

![4d070c00a22001906d3363033e5689c4.png][]

在 详解深度学习中的Normalization，BN/LN/WN https://zhuanlan.zhihu.com/p/33173246中，作者指出：WN 与 BN 其实是相似的。

![ca657ae4efde1133b6e693e1deada57a.png][]

论文作者同样提到了这一点。

![facc21799b5b17b0cbb0b63456e039e1.png][]

PyTorch 相关文档：

![336703f34d8a6812e8e063128762af33.png][]

# 4. Layer Normalization #

在 2016 年 7 月的 Layer Normalization （https://arxiv.org/pdf/1607.06450.pdf）中，作者提出了一种类似与 BN 的操作：Layer Normalization，提出 LN 的主要目的是为了解决 BN 对 Batch Size 和内存的依赖以及减少 Normalization 所需时间。

LN 与 BN 的不同之处在于：BN 是对一个 Batch 中的所有样本的不同维度做 Normalization，而 LN 是对单个样本中的所有维度做 Normalization。当然，两者的数学公式长得都一样，都是求平均值、方差，做归一化后在做仿射变换。

![1dd8d5afa6280bed03da21c72f738dba.png][]

Batch Normalization 与 Layer Normalization 的区别：

![403bcfa884eadf5b67667beca2d75521.png][]

举例来说，对于 ![format_png 21][] 的数据，BN 计算得到的统计量的 ![format_png 22][] 为 ![format_png 23][] ，而 LN 计算得到的统计量的 ![format_png 22][] 为 ![format_png 24][] 。

![6efb1e3d3c43a0d1f90dc9fa45a0b263.png][]

（左侧：Batch Normalization，右侧：Layer Normalization）

PyTorch 相关文档：

![80363c6f80a0e1ca9f8dc7b7664608dc.png][]

# 5. Instance Normalization #

在 2016 年 7 月的 Instance Normalization: The Missing Ingredient for Fast Stylization （https://arxiv.org/pdf/1607.08022.pdf）中，作者提出与 LN 类似的操作：Instance Normalization。在论文中，作者指出在图像风格迁移任务中，生成式模型计算得到的 Feature Map 的各个 Channel 的均值与方差将影响到所生成图像的风格。故，作者提出了 IN，在 Channel 层面对输入数据进行归一化，再使用目标图像的 Channel 的均值与方差对结果进行 '去归一化'。

值得一提的是，IN 与LN 类似，仅对单个样本进行归一化，但是 IN 并不进行仿射变换。

举例来说，对于 ![format_png 21][] 的数据，IN 计算得到的统计量的 ![format_png 22][] 为 ![format_png 25][] 。

![55a7a3a0b8c3d14dfc2bb7ae6b9fc66e.png][]

PyTorch 相关文档：

![778e38d87dbd2afa64f5b32cf3ab9fd3.png][]

# 6. Cosine Normalization #

在 2017 年 2 月的

Cosine Normalization: Using Cosine Similarity Instead of Dot Product in Neural Networks （https://arxiv.org/pdf/1702.05870.pdf）

中，作者提出了 Cosine Normalization，不对输入数据做归一化，也不对参数做归一化，而是对输入数据与参数的点乘做出改动，改为计算两者的余弦相似度 ![format_png 26][] ，即 ![format_png 27][] 变为 ![format_png 28][] 。

CN 将模型的输出进行了归一化，使得输出有界，但是也因此丢弃了原本输出中所含的 Scale 信息，所以这个是否值得也有待进一步探讨。

PyTorch 相关文档：

![303c2ca664d0e2e08376f202a71d6100.png][]

# 7. Group Normalization #

在 2018 年 3 月的 Group Normalization（https://arxiv.org/pdf/1803.08494.pdf）中，作者提出了 Group Normalization，与 BN 相比，GN 的改进有两点：不再依赖 Batch Size，计算成本可由超参数进行调节。

作者在论文中指出，BN 对于 Batch Size 的依赖使得其无法较好的运用在因内存限制而使用较小 Batch Size 的任务上（如：detection, segmentation, video），故作者令 GN 仅对单个样本进行 Normalization 操作。此外，GN 更像是 LN 与 IN 的一般形式，当 ![format_png 29][] 时，GN 等价于 LN；当 ![format_png 30][] 时，GN 等价于 IN。

在 如何区分并记住常见的几种 Normalization 算法（https://zhuanlan.zhihu.com/p/69659844） 中，作者给出了一张图像，直观的给出了以上 Normalization 的不同之处：

![d3e06c52957788681e94dc9066d9b802.png][]

举例来说，对于 ![format_png 21][] 的数据，GN 计算得到的统计量的 ![format_png 22][] 为 ![format_png 31][] 。

![3ea6a813209bb7f0808967b317fc6b80.png][]

PyTorch 相关文档：

![57c3c64419307ddf1ad82eaf31201d67.png][]

参考资料：

如何区分并记住常见的几种 Normalization 算（https://zhuanlan.zhihu.com/p/69659844）

详解深度学习中的Normalization，（BN/LN/WNhttps://zhuanlan.zhihu.com/p/33173246）

神经网络之Normalization（https://zhuanlan.zhihu.com/p/29824075）

深度学习中 Batch Normalization为什么效果好？- 魏秀参的回答 - 知乎（https://www.zhihu.com/question/38102762/answer/85238569）

**猜您喜欢：**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![b5fa8fa370775f9a9730ffdc7f683906.png][]

[c6f3ab2af83440885ce013df932e4422.png]: /images/20221023/d53e7fffcae1418db2289e55d299682f.png
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RvZFo4ODV1b2ljaWNzeUdPUkdCZ2ZyYmljUHN6M1JyMVZpYUM2MWZQY2xRUVZtYUlObGljYzJNZHRxV1Y1VEFNNEU5OGMvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2Q4RGd2Vk1wMFF3VWliMWZXcTY2dm43cTRYTDdkdW5nUTRUV3NFb014T1JINTN2NktqM3NKam9wODdiTHlXUzBmei82NDA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2ROcWVpYk9LWWNPbmhMemhrRDM3QnVremJNNkVza2lhOW5LU2J4WWdZcXRQODh5RlJLQXd4bEIxSWNBdEZZclZpYzk1LzY0MA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RFRE0wV1ZEY2dCM2RtdkR2Zk9RQmNVSnp4ZDhoZklnSk5kM3ZBeE1nMXBNVXg0d0FYQXBYYWNzaWFvNjdRWEU1WC82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RmM0hzTnRHMW5ndHpCUDIyWUczUlp0b2Raa2VJV0lFdlFMc1V3Q1FpY3FGcm0ya3NiaWNlNUNtZkpIVEQ2OUNVV1MvNjQw?x-oss-process=image/format,png
[format_png 5]: /images/20221023/785a39bc3e8a4417a7cf5e56267d2b8b.png
[09662960e8420869afd11c268f8e7756.png]: /images/20221023/b2a04f92c1434deabf6416c3987aba49.png
[7e2cdb33180570fb9f833c64e3987fe7.png]: /images/20221023/a65e917cc1684d3595a805cba846a30c.png
[283a3354676fbb9fe1ad7db3c180e310.png]: /images/20221023/0c63a9f181ed48f687e24a966b519834.png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2Q4cWlhVnZYZXBOZ1Q4MDZKakU3WG1lZlFleGVtQTJMYnFIc2p5N0NQWjFVMnlzYnFYMlpIOW5DOEY3bXJrUjR5Wi82NDA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2R4ekl4QmE2Q25vdnhHaWFyb3FZMjh4UjFpYXJuWDJwaGliZDJYenFHVlNybWh1VGljeTNFZHJZekhrRzRKd0JHZ0YxWS82NDA?x-oss-process=image/format,png
[format_png 8]: /images/20221023/4c59abd343f6489aa82703b65cc94e38.png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RCUUZKUEI3dEg0WGljNXFZcFBWeU13NGdoMmlhRlp1SG9mUEFIaGhZcVBJYkpyOWZIc1BSdlFsdTZzaWNDREFyZHR4LzY0MA?x-oss-process=image/format,png
[format_png 10]: /images/20221023/21a9ce5331ff4f7dbfd8f232b31dc2a8.png
[0c40ba842a6535b5d094f44675ada6ab.png]: /images/20221023/64a4da994d3340d59b257c5456c55a8c.png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2R6bEFqdmpaN1pCOHVMU04xeUlucXIzMzFFTDlhNWdkbWU3dFpwMElpYXhxeThzZWFSOU9NdmFXajZWS2hRb3d6Ri82NDA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RkOE1QRElFMEEyTWYyMHVLUGJ2clU3VUFxZEVYbU5FTWZ3aWJkZVZ5OGFCOVQ2TDdlS0hFSnVCQW1IR3RQY042Zi82NDA?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2R5MHJKMHlXTFM0dVR2UWQ5eHJFMEZhZWJqZFdnanI4SGdBWUgzTWliZkdEcmZQT2hsbWRGM0lpY05MY3lOaWFXVkxpYi82NDA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2R3TnhraWJUa2pzQ21IN0Z0a0hoa2hweXdpYlh3eHVNT2dZaWJKTXJCMTZjN01FbWZmYmhuWkw2WHZodXNiSTJpYjg4Yy82NDA?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RTU2p4T3JVdzZJSnIyRUxnR0dHTVdwMDlLQ1pUSmFaOFphdVI1QWZ5Nm5VdHVmRkdOSzRJNXlNRWhYYUlJOVRTLzY0MA?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RveElORlhkWWZ0TjVUUjBMZ3hOQVBpYTNSMDl6QkVxQm5FZEExaWJHd00welZHNGtmWGp1QmljdHZONHJXa0psbGliZi82NDA?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RhbERpYTJORmljMlZtaWJ0alJDVnl1WmtXSWljSVh2ckZYeWRkMEdsUDFwR1h6d0U5b0dpYThhRjVSc2lhN3dvUTJHbXdMLzY0MA?x-oss-process=image/format,png
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RybElOaWFNb0c4MzVKZmo0MXNpYnFhYm9aM1NodG8wNUlUelA0T2xTVXVONURrNHEyM0ltUEhHU2RmU3hzRU9NdDEvNjQw?x-oss-process=image/format,png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RwV3RYM0tSNzBTRWo2bGRIZHpZeVRtdDlPMTZ5alJ0QXBwQWxzcVBpYWI2MWljdnJ0QkVpYW5JZlpvdzVTVTJuZ2dRLzY0MA?x-oss-process=image/format,png
[format_png 20]: /images/20221023/f166c0bcc4464566a602cf8b9345d17b.png
[4d070c00a22001906d3363033e5689c4.png]: /images/20221023/5a87c687964d4b87aec6c3302fd5d2be.png
[ca657ae4efde1133b6e693e1deada57a.png]: /images/20221023/bd820912d0b04a5280debbbe99b79d43.png
[facc21799b5b17b0cbb0b63456e039e1.png]: /images/20221023/69ecc9d237e24c5bbb8e075086fe62f4.png
[336703f34d8a6812e8e063128762af33.png]: /images/20221023/e90f639abb334bb99a6e3063e56ca37c.png
[1dd8d5afa6280bed03da21c72f738dba.png]: /images/20221023/922808aee7184318a1798c21c94cf79a.png
[403bcfa884eadf5b67667beca2d75521.png]: /images/20221023/5f56299ab7bd49e0a493ca7075c477da.png
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RIZjRGa1RwS0tiZFQ0Z0FmaWJQV3VxU2toRVcxcGFKSDZCdGN3OWlidjhsbFdPWVlhN0tRVHBDMjFQNGFFTmRPclcvNjQw?x-oss-process=image/format,png
[format_png 22]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2R0YkM5WG5abGxSM2NsUXdSNjNWRjlVSjhMOVFYZlEyeVVYcjJocUZoWDhraWNOMVYzVFFCUUtnTGljQXNWeVdkcFgvNjQw?x-oss-process=image/format,png
[format_png 23]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RpYVhKQ3M1aHp3cWNpYndyRVdubVhHck1hYTJET081cmljZ3NVZFZyZ2FnNlJBSUJvVElORnhjZ2liUjZUWVpxZHR0OC82NDA?x-oss-process=image/format,png
[format_png 24]: /images/20221023/6001403357984b27b642a4c960d5aefa.png
[6efb1e3d3c43a0d1f90dc9fa45a0b263.png]: /images/20221023/8c701846917f4ea3becbe293d07309df.png
[80363c6f80a0e1ca9f8dc7b7664608dc.png]: /images/20221023/ab7852378a1846cba56eac609b5317f2.png
[format_png 25]: /images/20221023/fdef6981a66e4c97a25cdc778a266f60.png
[55a7a3a0b8c3d14dfc2bb7ae6b9fc66e.png]: /images/20221023/24ad9419b2d1417b96e61f0032222921.png
[778e38d87dbd2afa64f5b32cf3ab9fd3.png]: /images/20221023/497d101678584b94b8a108cecfd9e389.png
[format_png 26]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RzMFJ2UnRtYUx5OEtnWE0wRGVRcjZaekRPWHpuRkphQ2gzOGljSUZOQ2tKenpsb21WZWFSZWFKU0c0VlNLYmliMmcvNjQw?x-oss-process=image/format,png
[format_png 27]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2RuWFJmWEtDVGhaTVdUVlFwSmNpY29zNzFGN3ppYmNCUXpkemdpYVpHRXRKdDM5RG1aMjdpYlhoVkVPVkZrMUtLZmF4RC82NDA?x-oss-process=image/format,png
[format_png 28]: /images/20221023/6ff9140eabb6410a9dbcb92fd690aee5.png
[303c2ca664d0e2e08376f202a71d6100.png]: /images/20221023/17ae6389da6648358af629002b2ffb82.png
[format_png 29]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy9rTWF6OW5jOGJnSUVkY0xpY3A1S2QyRWpKTFpUM1NPV2R5Z2lidkc5MnpaeUlXVHVoNGlhYkhtcGFPdjcwQ2xnZ1hzUW9pYVFSNTdpYmN0cUtJdDBVQlIzZkUwYjRFWWhZZjVEaWMvNjQw?x-oss-process=image/format,png
[format_png 30]: /images/20221023/6c7df2f2b4864ad0802d6435f44760fe.png
[d3e06c52957788681e94dc9066d9b802.png]: /images/20221023/6d271bc9539f42eba24ded278c491c5e.png
[format_png 31]: /images/20221023/8127ea09fddf433f9b8bc8cf1e69f86f.png
[3ea6a813209bb7f0808967b317fc6b80.png]: /images/20221023/34d63fcd4661451fa27fb3889f4bfde0.png
[57c3c64419307ddf1ad82eaf31201d67.png]: /images/20221023/67adbfd4d9b449909ca2b9b02caa8c07.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[b5fa8fa370775f9a9730ffdc7f683906.png]: /images/20221023/441d9e3259b74c4188921c7cfd7a1fa5.png