CVPR 2021 | 图像转换今如何？几篇GAN论文

落日映苍穹つ 2022-10-21 01:06 27阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

# 1，Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation #

*  提出一个通用的图像转换框架pixel2style2pixel（pSp）。pSp框架基于编码器网络，直接生成一系列风格向量，然后将它们输入到预训练的StyleGAN生成器中，从而扩展成“W+潜在空间”。
 *  编码器可以直接将真实图像嵌入到W+，而无需其它优化。利用编码器直接解决图像转换任务，如此一来图像转换任务可定义为：从某些输入域到潜在域的编码问题。

![622301b74c31898ccc6dce97adce5ad2.png][]

*  此前的方法中，StyleGAN编码器一般是“先反转（图像到潜码），后编辑”。而pSp不要求输入图像在StyleGAN域中进行特征表示，也可以处理各种任务。由于不需要对抗，极大地简化了训练过程，在没有“图像对（源图像，目标图像）”的严格标签数据下提供更好的支持，并且通过风格的重采样可以支持多模式合成。
 *  实验表明，pSp在各种图像转换任务中也表现出不俗的潜力。即使与专为某种任务而设计的最新解决方案相比，例如人脸转换任务，pSp也表现极佳。代码：https://github.com/eladrich/pixel2style2pixel

# 2，Image-to-image Translation via Hierarchical Style Disentanglement #

*  近来，图像转换任务在多标签（不同标签为条件）和多风格的生成任务上都取得了不错进展。

![af8f1a5671872ae4c025b44fe066cbb5.png][]

*  但由于标签不具备独立性、排他性，图像转换结果b并不能完全精准可控。本文提出分层风格分离（HiSD）来解决此问题。具体来说，将标签组织成分层的树状结构，其中独立的标签，排他的属性和解耦的风格从上到下进行分配。相应地，设计一种新的转换过程以适应上述结构，确定可控转换的风格。在CelebA-HQ数据集上的定性和定量实验都证明HiSD的能力。代码：https://github.com/imlixinyang/HiSD

# 3，Memory-guided Unsupervised Image-to-image Translation #

*  为实例级别的图像转换问题提供了一种新的无监督框架。尽管近期一些方法通过融进额外的物体标签可以取得进一步的效果，但通常无法处理多个不同对象的的情形。主要原因是，在推理过程中，这些算法将全局整体的风格应用于整幅图像，而没有考虑实例个体与背景之间或个体内部间的风格差异。
 *  为此，提出一个类别感知的内存网络，可以显示地明确说明局部风格变化。引入一组具有读/更新操作的键值存储结构，以记录类别的风格变化，且在测试阶段无需目标检测器就可以访问它们。

![e1421556f38f95ff7fac1252c57e47f1.png][]

*  “键”存储的是与域无关的内容表征，用于分配内存，而“值”则编码了域特定的风格表征。还提出一种特征对比损失，以增强内存的判别能力。实验表明，通过合并内存，可以跨域迁移类别感知的、准确的风格表征。

# 4，ReMix: Towards Image-to-Image Translation with Limited Data #

*  当可用的训练数据是有限的时候，基于生成对抗网络（GAN）的图像到图像（I2I）转换方法通常有过拟合的现象发生。

![a24b76aeb45d2e04a496e88ddb650095.png][]

*  这项工作提出一种数据增强方法（ReMix）来解决此问题：在特征级别上对训练样本进行插值，并根据样本之间的感知关系提出一种新的内容损失。生成器学习转换中间样本，而不是记住训练集，从而迫使判别器有更好的泛化能力。
 *  只需稍作修改，即可轻松将ReMix方法合并到现有GAN模型中。在众多任务上的实验结果表明，配备ReMix方法的GAN模型效果更佳。

# 5，Spatially-Adaptive Pixelwise Networks for Fast Image Translation #

*  介绍了一种新的生成器网络结构，通过将其设计为全分辨率图像的极轻量级网络，以实现快速高效的高分辨率图像转换。
 *  通过简单的仿射变换和非线性组合的操作，将每个像素都独立于其它像素去进行处理。主要采取三个关键步骤，使这种方法看似简单但极具表现力。
 *  首先，逐像素网络的参数在空间上是变化的，因此与简单的1×1卷积相比，它们可以表示更广泛的函数类。其次，这些参数是由快速卷积网络预测的，该网络处理输入的低分辨率表示。第三，通过拼接空间坐标的正弦编码来增强输入图像，为生成高质量的图像内容提供了有效的归纳偏置（inductive bias）。

![4283df81f3a2989553629c3bb0b373de.png][]

*  实验表明模型比此前的方法快达18倍，同时在不同的图像分辨率和转换中也有着极具竞争力的视觉质量。

上述论文均可在“**计算机视觉GAN**”知识星球一键下载。

![d68abe126b6387eed415e74765a3c4df.png][]

![fce8eb86f8017c0ab2d66ab026b61435.png][]

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![235fb7f5545a03819ef0c5a8f003a2f9.png][]

[622301b74c31898ccc6dce97adce5ad2.png]: /images/20221021/ec94eb6cadba47349f3f1ea20f8ac0f9.png
[af8f1a5671872ae4c025b44fe066cbb5.png]: /images/20221021/5fef1662d1a74a2a8eef7e548dd2c4c5.png
[e1421556f38f95ff7fac1252c57e47f1.png]: /images/20221021/7bb860c9c8e04658a2d8f86fe2084546.png
[a24b76aeb45d2e04a496e88ddb650095.png]: /images/20221021/351671236e584b0082df887843d948f6.png
[4283df81f3a2989553629c3bb0b373de.png]: /images/20221021/4e84028e16634fcd83c3f64f6e2f2f80.png
[d68abe126b6387eed415e74765a3c4df.png]: /images/20221021/29e4c2ac628c456f8f7eef869d70f7b4.png
[fce8eb86f8017c0ab2d66ab026b61435.png]: /images/20221021/2561eae7c32741d0b87b9acd40818ab6.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[235fb7f5545a03819ef0c5a8f003a2f9.png]: /images/20221021/8b10d6e48f3740599e5c509017e03910.png