文本生成图像的新SOTA：Google的XMC-GAN

野性酷女 2022-10-05 11:57 156阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

来源：新智元

##### **【导读】**从图像到生成文本、从文本生成图像，多模态模型的探索一直未停止。最近Google又出从文本到图像的新模型，75%的人类都说超过了传统的SOTA模型，直呼脑子里有画面了！ #####

文本到图像的自动合成（automatic text-to-image synthesis）是一个具有挑战性的研究课题，也逐渐引起了学界的重视，模型的训练输入只有文本，输出为一个图像。

这项研究能够让研究人员了解机器学习(ML)模型如何获得视觉属性，并将它们与文本联系起来。

与素描图、物体遮罩或矢量图等其他类型的图像创建的输入相比，描述性的句子是一种更直观和灵活的视觉概念表达方式。

“别说了，有画面了”就是这个意思。

![b4284300b1ea52ab5f51d32ab20ce055.png][]

因此，一个强大的自动文本到图像生成系统也可以成为快速创建内容的有用工具，并且可以应用于许多其他创造性应用，类似于将机器学习融入艺术创作。

一个典型的例子是Magenta，由谷歌大脑创造的，旨在推进 AI 在艺术领域的发展，可以进行包括 AI 音乐、绘画、笑话生成在内的多个项目。计算机能否具有创造力，这个问题也许还没有答案，但 AI 能创作出富有趣味的音乐和画作，则已经被Magenta带进了现实。

最先进的图像合成结果通常使用生成对抗性网络(GANs)来实现，该网络训练两个模型: 一个是试图创造真实图像的生成器，另一个是试图判断图像是真实还是虚构的鉴别器。

许多文本到图像的生成模型都是有限制条件的，例如类别标签等，它使用文本输入来生成语义相关的图像。

这个任务是非常具有挑战性的，特别是在提供长而模糊的描述时。

此外，GAN 的训练还很容易出现模式崩溃，也是训练过程中常见的失败案例，在这种情况下，生成器学习只产生有限的一组输出，因此鉴别器无法学习识别伪造图像的稳健策略。为了减少模式崩溃，一些方法使用多阶段细化网络迭代细化图像。

然而，这种系统需要多阶段的培训，并且效率远低于简单的单阶段端到端模型。其他的工作则依赖于分层的方法，即在最终合成一个真实的图像之前，首先对模型对象进行布局。这需要使用带标签的分段数据，这可能很难获得。

基于这个问题，Google在CVPR 2021上发表了一篇论文《跨模态对比学习: 文本到图像的生成》，提出了一个跨模态对比生成语法网络(XMC-GAN) ，该网络通过学习使图像和文本之间的互信息最大化，利用图像-文本和图像-图像之间的对比丢失来实现文本到图像的生成。

![0ca5fd55e42a86a3fab7ae07c9f8242f.png][]

这种方法有助于判比器学习更健壮和鉴别特征，因此即使是一阶段的训练， XMC-GAN 也更不容易模式崩溃。

重要的是，与以前的多级或分级方法相比，XMC-GAN 通过简单的一阶段生成就实现了sota性能。它是端到端可训练的，只需要图像-文本对(相对于标记分割或边界框数据)即可训练。

文本到图像合成的对比损失文本到图像合成系统的目标是生成清晰的、具有高语义逼真度的、符合条件的文本描述的真实场景。为了实现这一目标，Google提出最大化相应对之间的互信息: (1)图像(真实的或生成的)与描述场景的句子; (2)生成的图像和具有相同描述的真实图像; (3)图像的区域(真实的或生成的)和与之相关的单词或短语。

在 XMC-GAN通过对比损失来增强效果。与其他 GANs 类似，XMC-GAN 包含了一个合成图像的生成器，以及一个判别器，它被训练成为真实图像和生成图像之间的判别器。

三组数据共同构成系统的对比损失，即真实图像、描述图像的文本以及由文本描述生成的图像。生成器和鉴别器的单个损失函数是从整个图像计算的损失与全文描述的损失的组合，再加上从带有相关单词或短语的细分图像计算的损失。

对于每一批训练数据，计算每一个文本描述和真实图像之间的余弦距离得分，同样，每一个文本描述和生成的图像之间的得分，目标是使匹配对(文本到图像和真实图像到生成的图像)具有较高的相似性得分，而非匹配对的相似性得分较低。执行这样的对比损失可以使鉴别器学习更健壮和鉴别特征。

![3f8f99cce17087d3262732cc5ba80a6d.png][]

XMC-GAN 成功应用于三个具有挑战性的数据集，一个是 MS-COCO 图像的描述集，另外两个是带有局部叙事注释的数据集，其中一个包括 MS-COCO 图像(也称为 LN-COCO) ，另一个描述开放图像数据(LN-OpenImages)。

结果发现，XMC-GAN 实现了一个新的国家的艺术在每一个。由 XMC-GAN 生成的图像所描绘的场景质量高于使用其他技术生成的图像。在 MS-COCO 上，XMC-GAN 将最先进的 Fréchet 起始距离(FID)评分从24.7提高到9.3，并且明显受到人类评估者的青睐。

![f04550b14e1e9aaaf9802acadc6830d7.png][]

同样，其他三个sota模型相比(CP-GAN，SD-GAN，和 OP-GAN)，77.3%的人类评分员更喜欢 XMC-GAN 生成的图像质量，和74.1% 的认为模型图像文本对齐更好。

![1357d28c12b7d31a49375f46662098cd.png][]

XMC-GAN 也很好地概括了具有挑战性的本地化叙事数据集，其中包含更长和更详细的描述。我们之前的工作 TReCS 解决了文本到图像生成的本地化叙事使用鼠标跟踪输入，以改善图像生成质量。尽管没有收到鼠标跟踪注释，但 XMC-GAN 能够在 LN-COCO 上显著优于 TReCS 的图像生成，将最先进的 FID 从48.7提高到14.1。将鼠标轨迹和其他额外输入纳入端到端模型，如 XMC-GAN，将是今后工作中值得研究的。

此外，我们还在 LN-OpenImages 上进行培训和评估，这比 MS-COCO 更具挑战性，因为数据集更大，图像覆盖的主题范围更广，也更复杂(平均8.4个对象)。据我们所知，XMC-GAN 是第一个在开放图像上训练和评估的文本到图像合成模型。XMC-GAN 能够产生高质量的结果，并在这个非常具有挑战性的任务上设置了一个强大的基准 FID 分数26.9。

![13434984ff0ba8588dd3e0c8ad1f4843.png][]

在这项工作中，Google提出了一个跨模态对比学习框架，用于文本到图像合成的 GAN 模型的训练，并研究了几种加强图像和文本对应的跨模态对比损失。

对于人类评估和定量指标，XMC-GAN 建立了一个显着改进以前的模型对多个数据集。它生成高质量的图像，很好地匹配他们的输入描述，包括长的、详细的叙述，这样做的同时，还能够保持一个简单的端到端模型。

研究人员相信这代表了从自然语言描述生成图像的创造性应用的一个重大进步。随着这项研究的继续，根据人类社会的人工智能原则，还应该不断评估方法、潜在的应用和风险缓解方案。

参考资料：

https://ai.googleblog.com/2021/05/cross-modal-contrastive-learning-for.html

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![12cc39d8d6811e76355f6ade857d6d35.png][]

[b4284300b1ea52ab5f51d32ab20ce055.png]: /images/20221005/02fb0b0e186e4173bda1ba04f5e10b42.png
[0ca5fd55e42a86a3fab7ae07c9f8242f.png]: /images/20221005/020972cf930e4f22b9d241a89f471f9b.png
[3f8f99cce17087d3262732cc5ba80a6d.png]: /images/20221005/8240828e931e47bab14f5708f6e5a613.png
[f04550b14e1e9aaaf9802acadc6830d7.png]: /images/20221005/c0e42a3a4fd841e394e098b192c16ec2.png
[1357d28c12b7d31a49375f46662098cd.png]: /images/20221005/c8d7a0a831734a19a7a510c741b54c36.png
[13434984ff0ba8588dd3e0c8ad1f4843.png]: /images/20221005/3479304b58884bfebb74cbf2c58cfdd9.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[12cc39d8d6811e76355f6ade857d6d35.png]: /images/20221005/0994d3c9d281499a98b0e94f7ccd27aa.png