A Novel Framework for Selection of GANs for an Application

电玩女神 2021-09-23 23:16 258阅读 0赞

本次主要是对GAN网络paper《A Novel Framework for Selection of GANs for an Application》的翻译

**摘要:**生成性对抗网络是当前研究的热点。知识体是碎片化的，导致在为给定场景选择合适的GAN时采用试错方法。我们从一开始就全面总结了GANs的演化，解决了模式崩溃、消失梯度、不稳定训练和不收敛等问题。本文还从应用的角度，对各种GANs的行为和实现细节进行了比较。我们提出了一个新的基于架构、损失、正则化和发散的框架来识别特定用例的候选GAN。我们还通过一个例子讨论了该框架的应用，并证明了搜索空间的显著减少。这种确定潜在GANs的有效方法降低了组织人工智能开发的单位经济性。

**1、介绍:**

生成性对抗网络（GANs）是建立在博弈论基础上的一类生成性模型，是一个两人极小极大博弈。这种模型的典型结构由两个神经网络组成：鉴别器和生成器。生成器将输入噪声矢量转换为潜在的高维数据矢量。鉴别器评估该向量是否从原始分布派生。根据结果，生成器学习生成与原始分布相似的样本。

GANs是计算机视觉、时间序列综合、自然语言处理等领域中生成真实和多样示例的主要方法之一，属于遵循无似然推理方法的隐式模型类。这些模型生成从所学习的分布中采样的图像，并且不提供数据样本的任何潜在表示。与其他显式生成模型相比，GANs具有并行生成、通用逼近、更好的质量、更精确的密度估计和对样本结构层次的理解等优点。这些特性有助于GANs在深度学习社区中的巨大普及，特别是在计算机视觉领域。

尽管GANs取得了成功，但由于其优化的本质导致了动态系统，因此它仍然很难训练；每当一个组件的任何参数（无论是鉴别器还是生成器）被修改时，都会导致系统的不稳定性。目前的研究致力于为图像和视频生成、域自适应、语音合成、语义图片编辑等各种应用寻找结构、损耗和超参数的稳定组合，这些模型取得了令人感兴趣的结果对于特定的应用程序，没有全面的一致意见或参考研究可用于了解哪个GAN在特定用例中比其他GAN执行得更好。本文旨在解决上述假设，并通过一个技术框架来缩小GANs的属性组合。本文的结构如下：第二节定义了框架，包括最常用的结构集、损失函数、正则化和散度格式。第3节重点介绍了在培训GANs时出现的问题，第4节概述了GANs的流行损失变体。第5节根据应用程序、行为和实现对这些GANs进行了对比，第6节通过一个例子说明了框架的使用。第7节强调了未来的研究范围，并进行了总结。

**2、框架**

为特定应用选择GAN模型是一个组合爆炸问题，有许多可能的选择及其顺序。研究人员在计算上不可能探索整个空间。此外，这些网络没有标准的评估指标，无法提供公平和中立的比较。即使确定了度量，架构、损耗、正则化和超参数的变化也会导致度量值的不同\[25\]。有必要建立一个标准框架，可以用来比较政府及其行为。我们提出了一个系统的子结构，它由四个决策参数组成，即体系结构、损耗、正则化和发散，以减少可能的配置数量，并为给定的用例选择最合适的GAN。图1给出了自经典GAN诞生以来为改进GAN训练而引入的主要损耗和结构GAN、正则化和发散函数。在本文中，我们将重点讨论丢失GAN变体、它们的原始实现和特性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70][]

**3、经典GAN的训练问题**

尽管取得了进步和成功，甘斯队在训练中遇到了各种困难。主要包括模式崩溃、优化不稳定性、消失梯度和不收敛性。此外，试图解决这些问题的方法依赖于容易受到少量修改的启发式方法。这个前提使得我们很难尝试新的模型或者将现有的模型用于不同的应用。需要对它们的理论和实践观点有一个坚实的理解，以便为解决这些问题确定研究方向。

**3.1、模型坍塌**

概率分布可以是多模态的，并且由样本数据的各种子图的多个峰值组成。模式崩溃是GANs模拟多模分布的一个极限情况，当生成器将其概率密度放置在一个小的数据空间区域时发生。生成器关注于新数据的创建，而鉴别器的目标是评估其真实性，而不是样本的多样性。生成器的每次更新都以鉴别器的过度优化结束，这使得生成器在下一次迭代中很容易搜索到最合理的输出。因此，生成器通过一小组输出类型旋转。鉴别器独立地处理每个样本，因此，不存在激励生成器或鉴别器产生各种结果的机制。模式崩溃导致低质量的合成分布。例如，在动物分类的情况下，模式崩溃会导致生成器学习狗的不同特征和颜色，但对猫的学习有限，最终表现出较差的多样性。

**3.2、梯度消失**

minimax-GAN目标函数的最小化导致梯度消失，这使得更新生成器变得困难。当源和目标分布不完全一致时，鉴别器将接近最优，GAN目标函数的梯度几乎处处为零。这给生成器提供了很少的反馈，慢慢地停止了学习。这个障碍的一个流行解决方案是在梯度不消失的情况下使用损耗参数化，而不是限制鉴别器的功率。另一个导致梯度消失的原因是当真实世界的数据通常集中在低维流形中时，使得鉴别器非常容易将样本分为真和假，并导致随机的未赢得输出。

**3.3、训练不稳定**

基于梯度下降的GAN优化技术不一定会导致收敛，因此，了解其训练动力学至关重要。该算法在Nash均衡附近表现出局部行为，该行为可以随机远离全局均衡点，并且不能与非凸代价函数一致或在两人非合作环境下执行。即使鉴别器和生成器的训练损失都收敛，也并不意味着pg=pd（pg表示生成器的概率分布，pd表示鉴别器的概率分布）。观察到这些损耗振荡，表明训练高度不稳定，最终导致模式崩溃。GANs还需要对超参数进行细致的细化。一项大规模的研究表明，与引入新的损失函数相比，微调超参数能获得更好的结果。

**3.4、不收敛**

在没有达到平衡的情况下，GANs从一种类型的样本发展到另一种类型的样本。当发生器到达平衡点时，鉴别器的斜率最大，它将发生器推离目标分布。因此，生成器向目标分布前进，鉴别器将其斜率从正变为负。这一过程重复发生，因此，在训练过程中产生的损失图并不表示收敛。此外，在生成器产生高维样本之前，鉴别器通常能够获得更高的分类精度，因此，需要在必要时调节鉴别器的性能。鉴别器和生成器之间的不平衡最终导致不收敛-如果生成器继续训练即使鉴别器给出随机反馈，生成的图像质量也会崩溃。

**4、GAN网络的演变**

介绍了GANs的各种风味，着重于修改损失函数以解决GANs的训练困难。我们提供了一个表格总结（表1）和一个特定损失变量的演变时间表，有助于提高一组应用程序的GANs性能。其目的是对这些GANs、它们的贡献和提出的解决方案进行鸟瞰。第一列列出了第一篇论文介绍的年份；下一列给出了GAN的名称，接着是基于GAN相关问题进行的损耗、架构和正则化修改实验列（右二列）。第四列指向用于实验的数据集，最后一列指定用于评估所提议GAN的性能的度量。我们考虑以下缩写：批处理规范化（BN）、卷积（CON）、解码器（Dec）、反卷积（Dec O N）、鉴别器（D）、编码器（Enc）、全连接网络（FC）、生成器（G）、层规范化（LN）、多层感知器（MLP）、规范化（N）、优化器（O）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 5][]

**5、GANs变种网络的对比**

为了深入分析上述机构，我们以表2至表7的形式对其理论、行为和实践方面进行了比较评估。考虑了应用、行为和实现三个参数进行比较。对于每一个表，第一列包含与作为第一行登记的GAN进行比较的GAN的名称。第二列说明比较期间进行的实验结果，第三列根据行为特性进行区分，最后一列说明网络实现的详细信息，不包括体系结构。空白细胞显示模型之间没有显著的相似性或差异。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 14][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 16][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 17][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 18][]

**6、举一个例子**

让我们以使用CIFAR-10数据集生成图像为例来说明这个框架。考虑到应用程序需要良好的样本质量和多样性。如果没有逻辑框架，就必须搜索爆炸的组合空间。我们的框架通过系统地消除其他组合来帮助减少候选项。例如，基于此特定应用的可用架构、损耗、发散等，我们有近5000个潜在的GAN功能组合。在这个框架的帮助下，我们可以缩小到5-6个候选政府。这相当于搜索空间减少了1000倍。

为了减少组合搜索空间，我们提出了以下4个问题，其答案基于表1-7导出。

**6.1、鉴别器和生成器使用的体系结构是什么？**

o根据表1，架构的可能替代方案包括完全连接的卷积反卷积网络或DCGAN的改性。

**6.2、哪些损失功能适用？**

o通过表2-7中的应用、实施和行为方面对丢失GANs的比较评估，提供了使用CIFAR-10生成图像的丢失GANs及其效率的详细研究。

o由于应用对样品多样性和质量的要求较高，本研究提出了WGAN-GP、最小二乘GAN、RSGAN和SNGAN模型。与独立模型相比，最小二乘GAN与相对论相结合能产生更高质量的图像。正则化模型如损耗敏感GAN和SNGAN在分布上具有更好的泛化能力。

**6.3、GAN需要正规化吗？如果是，那么哪一个是有效的？**

o我们的研究表明梯度惩罚可以提高图像质量，但不能稳定训练。与梯度惩罚法相比，谱归一化法具有更高的计算效率。\[47\]表明生成器中的批处理规范化提高了模型质量而在鉴别器中表现较差。

**6.4、GAN需要不同的发散角和KL发散角吗？如果是，那么哪一个最合适？**

o【48】介绍并试验了各种分歧包括GAN, Kullback-Leibler 和 Squared-Hellinger，生产同样现实的样品。

**7、未来工作**

即使有最近的改进，仍然有各种开放的研究问题为甘斯。作为这项详细研究的结果，我们确定了与对GAN训练的非决定论提出明确的行动，以揭穿未来的研究方向。首先，这部分知识可以转换成一个自动化的工具，这将促进容易获取。接下来，与我们在GANs中对损失变量的研究类似，需要解决架构变量及其相互比较，以评估架构、优化器和规范化的最佳组合。定量评价指标的发展是另一个重要的研究方向，因为没有内在的估计来实现源分布和目标分布之间的相似性。此外，超参数优化在计算上仍然很昂贵：人们可以研究并详细研究超参数设置的组合、目标函数对超参数的敏感性及其改进。这将有助于GAN与中性模型比较的系统实验。此外，还可以从计算成本的角度进行单元经济学研究，以了解模型的性能，并有助于进一步的研究。

**8、总结**

我们讨论了GANs的问题和演变，分析了GANs的可用损失变量。我们提供了一个结构化框架来确定架构、损耗、正则化和发散性的可能组合，以便为用例选择GAN。当需要为特定应用程序设计GAN时，我们的框架可以与开源参考实现一起用作基线。我们还从应用、实现和行为的角度对这些变体进行了深入的比较研究。通过一个使用CIFAR-10数据集生成图像的例子证明了该框架的有效性，该框架成功地减少了98%的组合次数。这降低了组织中应用的GAN开发的总体计算成本，并促进了资源的有效利用。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70]: /images/20210923/12d3f89ad1844634ad2ecf14c0b72344.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200221214904669.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 2]: /images/20210923/d934c75569774a788bea1252ee4651b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 3]: /images/20210923/a862d1ac51104cb08270d1865fa4a921.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 4]: /images/20210923/3de025509e7044aabd4c9bf99e581115.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 5]: /images/20210923/6cb0e7e8fc464840b956001030b7d9d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 6]: /images/20210923/56fda3a3ffde470d8d5d86a13d30dcf9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 7]: /images/20210923/477c59565272490eb9a5f792ee33acbe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 8]: /images/20210923/056adac9d49745478529e7fc6572db13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 9]: /images/20210923/e7c63bcc8dd444a79b7501eeab17a358.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 10]: /images/20210923/ae80636100b644a59e7d5c742890ce77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 11]: /images/20210923/e7eca298a23f450ebe119d8b3f30727f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 12]: /images/20210923/14bf88e47584473ea41fa6c81d5346fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 13]: /images/20210923/543ed506beeb4e9085021bffb648b0c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 14]: /images/20210923/b56cd8f8bdf54ad6a86f5f7f777b3f0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 15]: /images/20210923/169fba468e184f16880a54b8a5eb9769.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 16]: /images/20210923/ca023fc8ea6543e7b7cbb1bbf3281c53.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 17]: /images/20210923/e4389a6a51e2430883bab6822c9408cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzaHpk_size_16_color_FFFFFF_t_70 18]: /images/20210923/67803eb5d57d45dea7cb1142a12191d8.png