CVPR 2021 人脸属性风格解耦

灰太狼 2022-11-12 11:58 184阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

作者：知乎—李新阳

地址：https://www.zhihu.com/people/li-xin-yang-85-51

![61a18a3691e00e011efd9f056543cc82.png][]

论文地址：https://arxiv.org/abs/2103.01456

开源代码：https://github.com/imlixinyang/HiSD

相信大家还记得CycleGAN刚出来时带给大家的震撼，从CycleGAN提出后，图像翻译面临的最大的两个问题就是扩展性（同时处理多种篡改）和多样性（生成不同的结果），然而，一直没有一个很好的方法，可以兼顾扩展性和多样性的同时，又能使得这种篡改满足预期。例如，对于人脸属性篡改任务，我们想要给人脸加上刘海，可是却改变了发色或是背景，再例如，我们想要给人脸加上眼睛，结果竟然性别和年龄也改变了。下面是最新模型StarGANv2的结果：

![84df85777d02cd84be7737a41743c8ad.png][]

HiSD就是为了解决这些问题，并且还同时支持从噪声中生成或者从图像中提取这样的风格。先放效果图吧：

![93cd97a90d1f0c9a805caf75dc6d50d4.png][]

可以看到多属性之间完全没有干扰，而且多样性也可以非常好地对应上某个语义。而实现这一些的核心就是建立了如下一个层次结构：

![49a117ba01d3927fa229a7289f220711.png][]

利用了原始0-1标签之间存在的互斥性（对同一个语义的不同描述）和独立性（不同语义），HiSD将原始Label转换为了Tag和Attribute，并想要无监督地解耦出对应上某个Attribute的风格，比如图中不同眼镜的款式，就可以达到可控多样性的目标了。

进一步，我们将各个模型也对应上了这个层次结构，然后每一次只训练一个对应某个Tag的转换器将图像在两个Attribute之间进行转换，然而这样就可以解耦出单个Tag的风格了吗？

想法是美好的，现实是残酷的。除了标签本身，我们并没有其他的监督信息，例如分割图等，甚至数据集中本身对于各个属性就是不解耦的（戴眼镜的有83%的男性，而不戴的只有36%）。

为了抑制区域上的过度篡改，我们引入了已经被广泛使用的无监督掩膜思想，唯一不同的是我们的掩膜是作用在特征图上的，而不是图像本身上，也因此加入了Channel-wise的注意力。

然而性别和年龄在极度不平衡的数据集的对抗过程中，仍然被不可避免的篡改了。

但是性别年龄也是我们可以利用的标签！能不能让对抗过程中的鉴别器可以看到这些标签本身就是不平衡的，从而来让翻译前后保持这些不平衡标签不变呢，比如这样：

![6f824b1040c42d44ab7a6001dbf8172f.png][]

也就是让鉴别器在鉴别金色刘海的同时，要让原始图片的性别和年龄也保持不变。

还真可以，这一个结构叫做Tag无关条件鉴别器，我个人觉得应该可以用来缓解很多对抗过程中数据集本身不平衡的问题，这几步结构上的改动带来的影响可以用一些对比结果表示：

![447e4ba7a5c4aecaded04c72dcd77184.png][]

跟SOTA模型比较，我们有着最好的真实性、解耦性和用户最喜欢的多样性。同时还有着对于两种来源的风格编码最为平衡的性能。

![b520ee2c660c648672048be6138d3674.png][]

论文和代码都已经放出来了。妈妈式代码，详细注释，手把手教学，因为自己也相当幸运作为入门者的时候，看的是多模态的模型MUNIT(https://github.com/NVlabs/MUNIT)的代码，非常好理解和进一步修改。

论文中还有很多很多细节，例如训练过程中只有单Tag的篡改，为什么在测试过程可以进行多Tag的篡改。解耦性是如何定量比较的。又如何同时训练噪声引导的风格和参考图像引导的风格的。可能需要感兴趣的同学自行去看啦，也欢迎来和我讨论～

**猜您喜欢：**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![c59baf08d69d03ac0df055838df48bbe.png][]

[61a18a3691e00e011efd9f056543cc82.png]: /images/20221022/4dc0bde8dde643c1a2a393d0138b263c.png
[84df85777d02cd84be7737a41743c8ad.png]: /images/20221022/4eeb0b5688dd4b96a8472104b3047ed0.png
[93cd97a90d1f0c9a805caf75dc6d50d4.png]: /images/20221022/52592ad708ce49579be162b2ebe10abf.png
[49a117ba01d3927fa229a7289f220711.png]: /images/20221022/97fb75fe7abc44568505f5e694a107f2.png
[6f824b1040c42d44ab7a6001dbf8172f.png]: /images/20221022/81119b9f208b44bbabdb94fe02910208.png
[447e4ba7a5c4aecaded04c72dcd77184.png]: /images/20221022/95caaa29f8ea4312a90b725a0c8ee757.png
[b520ee2c660c648672048be6138d3674.png]: /images/20221022/76d99e29f21247809cfa53766829079f.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[c59baf08d69d03ac0df055838df48bbe.png]: /images/20221022/fb4c1308e8eb4135adc462fb6769d0b6.png