精准生成Fake人脸！Amazon全新GAN模型给你全方位无死角美颜

墨蓝 2023-01-05 12:06 14阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注"星标"
> 
> 获取有趣、好玩的前沿干货！

### **  ****新智元报道 **** ** ###

来源：外媒  编辑：Q

##### **【新智元导读】**近日，来自 Amazon One 的研究人员提出了一个训练 GAN 的框架，可以对生成的图像进行显式控制。该框架能够通过设置确切的属性（例如年龄，姿势，表情等）来控制生成的图像。 #####

Amazon One团队最近提出了一个可以对生成的图像进行显式属性控制的GAN训练框架，能够通过设置确切的属性来控制生成的图像，如年龄、姿势、表情等。

![format_png][]

这篇论文目前已经发布在arxiv上，并且在Google网盘中有相应的补充说明。

目前大多数编辑GAN生成的图像的方法都是通过利用隐空间解构属性来实现部分控制，这些属性是在标准GAN训练后隐式获得的。这种方法能够改变某些属性的相对强度，但不能显式地设置它们的值。

而最近提出的方法，是为显式的准确控制人脸属性而设计的，利用可变形的3D人脸模型来实现GAN中的细粒度控制能力。

![format_png 1][]

与以往方法不同的是，这种控制不受限于可变形的三维人脸模型参数，并且可以扩展到人脸领域之外。

使用对比学习，获得了具有明确分解隐空间的GAN。这种分解被用来训练控制编码器，将人类可解释的输入映射到合适的隐向量，从而允许显式的控制。

![format_png 2][]

在人脸领域，研究人员展示了对身份、年龄、姿势、表情、头发颜色和照明的控制，还演示了我们的框架在画像和狗图像生成领域的控制能力，证明了新的方法在质量和数量上都达到了SOTA。

![format_png 3][]

在第一阶段，构建每一个batch的每个属性都有一对隐向量，共享一个相应的子向量。 除了对抗性损失外，该批图像中的每张图像都会以对比的方式，逐个属性地与其他所有图像进行比较，并考虑到它的子向量是相同还是不同。

在第二阶段，编码器被训练成将可解释的参数映射到合适的隐向量。

在推理阶段，是通过将第k个编码器输入设置为所需值，实现对属性k的显式控制。

![format_png 4][]

对光线、角度和表情的显式控制效果：

![format_png 5][]

研究人员使用了ArcFace提取生成图像的嵌入向量，具体做法是生成10K个共享ID属性的图像对和具有不同的姿势、照明和表情属性的图像。

对发色和年龄的控制效果：

![format_png 6][]

![format_png 7][]

为了验证模型确实对输出有明确的控制，研究人员进行了控制精度的比较。从FFHQ中随机选取10K张图像，并对其属性进行预测，以产生一个在真实图像中出现的可行属性池。

还可以实现在保持其他属性不变的情况下，改变绘画的艺术风格：

![format_png 8][]

对于喜欢养宠物的人来说，也可以显式控制生成的狗狗图像的一些属性：

![format_png 9][]

同时，不只可以改变一个属性，还可以同时控制多个属性值：

![format_png 10][]

通过测试Amazon One的可控GAN模型，本以为现在的美颜工具已经十分好用了，看来未来还会有更加惊艳的功能可以期待。

参考链接：

https://alonshoshan10.github.io/gan\_control/

论文地址：

https://arxiv.org/pdf/2101.02477.pdf

--------------------

**公众号近期荐读：**

*  [GAN整整6年了！是时候要来捋捋了！][GAN_6] 
 *  [语义金字塔式-图像生成：一种使用分类模型特征的方法][-]
 *  [【无中生有的AI】关于deepfake的种类、危害、基础实现技术和挑战][AI_deepfake]
 *  [新手指南综述 | GAN模型太多，不知道选哪儿个？][_ GAN]  
    
 *  [数百篇GAN论文已下载好！配一份生成对抗网络最新综述！][GAN]
 *  [图卷积网络GCN的理解与介绍][GCN]
 *  [【CapsulesNet的解析】了解一下胶囊网络？][CapsulesNet]
 *  [【综述笔记】一些弱监督语义分割论文][Link 1]
 *  [人脸生成新SOTA？它还是GAN。][SOTA_GAN]
 *  [结合GAN的零次学习（zero-shot learning）][GAN_zero-shot learning]
 *  [GAN的图像修复：多样化补全][GAN 1]
 *  [CVPR2020之MSG-GAN：简单有效的SOTA][CVPR2020_MSG-GAN_SOTA]  
    
 *  [CVPR2020之姿势变换GAN：图像里谁都会劈叉？][CVPR2020_GAN]  
    
 *  [CVPR2020之多码先验GAN：预训练模型如何使用？][CVPR2020_GAN 1]  
    
 *  [两幅图像！这样能训练好GAN做图像转换吗？][GAN 2] 
 *  [单图训GAN！如何改进SinGAN？][GAN_SinGAN]  
    
 *  [有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！][GAN 3]  
    
 *  [见微知细之超分辨率GAN！附70多篇论文下载！][GAN_70]  
    
 *  [天降斯雨，于我却无！GAN用于去雨如何？][GAN 4]  
    
 *  [脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？][GAN 5]  
    
 *  [容颜渐失！GAN来预测？][GAN 6]  
    
 *  [强数据所难！SSL（半监督学习）结合GAN如何？][SSL_GAN]  
    
 *  [弱水三千，只取你标！AL（主动学习）结合GAN如何？][AL_GAN]  
    
 *  [异常检测，GAN如何gan ?][GAN_gan]
 *  [虚拟换衣！速览这几篇最新论文咋做的！][Link 2]  
    
 *  [脸部妆容迁移！速览几篇用GAN来做的论文][GAN 7]
 *  [【1】GAN在医学图像上的生成，今如何？][1_GAN]
 *  [01-GAN公式简明原理之铁甲小宝篇][01-GAN]

--------------------

**GAN&CV****交流群****，无论小白还是大佬，诚挚邀您加入！**

**一起讨论交流！长按备注【进群】加入：**

![format_png 11][]

**更多分享、长按关注本公众号：**

![format_png 12][]

[format_png]: /images/20221119/7af0723beeb54123a8aa554fa7bfae39.png
[format_png 1]: /images/20221119/ac7d319055884c368a7300101ebb1f48.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvMjhXUUpjNWhOVU1aVVFLNmtNMHVVS09KWkxuVnd3Z1hOM2lhelJNcE9UV1FMRFg3OE1yaWJQRWcvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvYUFOQXR4dmhnc1FhNEp2SDZVejNQMzRiSU5WQWdUV0k4bzJyeDl5Mk43Y0lJY1U1ZXZqVXBnLzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvQ3VoT2Y3SVhFZjkySjZzdmRmSHk1aWM3VXJpYnJhSmlhQzVxNzVMeUlGTlpVRWtTMVV4Y3p5R3V3LzY0MA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvS2RYT2liejFSeXJ1RGZUYjlqNlUwYnQ1S3lhV2QzRmtNMjFOcFhPSDRvZHd6djZkV1FGVXV1dy82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvMEQxaWN2SVhvaDZBdURPSThUaWFVM2JGNWh0N2RsZzBNNTRtZTFhbGVSa0dWem1NbDc5dmdVS0EvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvR3ZJNmliTFQwT1Uzd1hXNktUcUR5WnpWd1c3OWlhQ2ljS1NHamR2blRqMTlReW12Z0JTaWNNZG8zQS82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvVVAwakE4Q2F5OUFNcjdXaDJhQ0tjQ1RnOWljQ2hSdFRpY01ibVNkYUMzRVpsVWQ2RGlhaWFiY2VOdy82NDA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRveGFhWXVVMGVhRWtLUUg0RXNuM0NoV2lhT2poY2s1WjNUODJrUXA1eUljSXA2d1V5ZG9QMWlhTHcvNjQw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvdmpmd05RZGdRZVE1WVpNTGZmN3RIZkR1N1hRamwySHo1Q1d1RUxlbkVYWENWQjBJRjhaRGliUS82NDA?x-oss-process=image/format,png
[GAN_6]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&idx=1&mid=2247483674&scene=21&sn=4370e8bb00f456bd1f3ad09e4adb7c56#wechat_redirect
[-]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4f0c95e2de679c4b850ac3704958542cb588f9e684182b5faa31abb51f7a2b8ae72accc&idx=1&mid=2247485003&scene=21&sn=2fd2f515a91ae4ff8dc692af6f1c0842#wechat_redirect
[AI_deepfake]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a783c95e2e953e379953d199ff99c47e7daf03cfbb2050abc15c71abbd8363b2321959f8&idx=2&mid=2247484728&scene=21&sn=3fa9126137fcae16348207457d433100#wechat_redirect
[_ GAN]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a048c95e295e3b36b18ae006a1cfcf0b838665a9cd23a156948389960a35f5d8970964ca&idx=1&lang=zh_CN&mid=2247484147&scene=21&sn=35da209341a2860a41aceb695b5a1b71&token=159212124#wechat_redirect
[GAN]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a089c95e299fd42ba589c61091900f5c890651c020509147eda2582ff6edf86db5ed854f&idx=1&lang=zh_CN&mid=2247483954&scene=21&sn=3977413ccdeaec21e45a367002ba7718&token=593470287#wechat_redirect
[GCN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a692c95e2f843cd38c8d4f012a80aa3ac2be32d05087bc9f34dc4c1f48fab968703f5128&idx=1&mid=2247484457&scene=21&sn=21483273408183d9c07932e70aff028a#wechat_redirect
[CapsulesNet]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a6fbc95e2fed0046ab54d3e07fa5cf1534b91da79ae3d2a7a66529d713ec344595ab17d4&idx=1&mid=2247484480&scene=21&sn=c78fe57c67110971ad58dee2ce75efd3#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a658c95e2f4e989936507a7afdb834343660342698cf7f4bfb2e1aed43f8c71eab47738b&idx=1&mid=2247484643&scene=21&sn=73bf2fba1fe9ea9f7bffe877d6ec2ccd#wechat_redirect
[SOTA_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7b1c95e2ea7ddc9dd1bee20e868280f71eee0e5b5569ce31e3ea5fde742c3ebcf653b4b&idx=1&mid=2247484682&scene=21&sn=eef699d950e03a88ba29211fa47a00f0#wechat_redirect
[GAN_zero-shot learning]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a652c95e2f4416c07442f3b7a1c28f8c45b4cda4e3649fab823849e7afaf3a88954d5b62&idx=1&mid=2247484649&scene=21&sn=27f39def1b76fec31a210be70b61f745#wechat_redirect
[GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a6cec95e2fd8e623fb31ffd13b5b516754c46c1c1d90f90f9d6e192e45ff4b62a7647799&idx=1&mid=2247484533&scene=21&sn=3018b810c023aca151d2f631b9138cfe#wechat_redirect
[CVPR2020_MSG-GAN_SOTA]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a1edc95e28fb85299ccf87a1819755f80243ff17f0057c425f3c4077e7e3b4d4a2035329&idx=1&mid=2247484246&scene=21&sn=3af777e066a3d4b6dcf1c4cf4856a671#wechat_redirect
[CVPR2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a1c9c95e28df09d1a30946d10592775dd3686475bd11202890e7de3f5f4412e3d19e0eb5&idx=1&mid=2247484274&scene=21&sn=cd86b9bc51e7ba632acbd62216419d96#wechat_redirect
[CVPR2020_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a103c95e2815afd21e98996fb9f3e825bd74948cd920c02e27dacbffb3802ffe685911fe&idx=1&mid=2247484344&scene=21&sn=f78756d792b12ca4a6759d79bbeb977f#wechat_redirect
[GAN 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a6adc95e2fbbb6126ec62e3b62255f1f6f0251e50e3ffb821c4497fccfaea3ed1ffe5591&idx=1&mid=2247484438&scene=21&sn=dc9220e9f495de8e27b0ecec6d286cd1#wechat_redirect
[GAN_SinGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a6ddc95e2fcb0a8a8411333929f4bae543bd3aeb0bd981ad46d339ee4fc44f35edc604e7&idx=1&mid=2247484518&scene=21&sn=cadeadfc0500ece542e82f02a71506e8#wechat_redirect
[GAN 3]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a0bcc95e29aa2a95f31809da6ede186efffcaf401505d064cfd70e8d8b2fcd94ea20541c&idx=1&lang=zh_CN&mid=2247483911&scene=21&sn=34bae0b092010dc7e40f8354719f30fd&token=1223526823#wechat_redirect
[GAN_70]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a18ec95e2898ef15e94c996c3ede2243a23d9f459f31840f4917d6a82a51b5073e1083d3&idx=1&lang=zh_CN&mid=2247484213&scene=21&sn=412ecf34631f2ffcbbe25a88ed67f49d&token=851081852#wechat_redirect
[GAN 4]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a35cc95e2a4a4242fce08e973f43ac88e4eaa743e943ffb8a1e6bd82b8f741171ffc54af&idx=1&lang=zh_CN&mid=2247483879&scene=21&sn=a673f657397286fa50290d4864d830aa&token=1186912265#wechat_redirect
[GAN 5]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a369c95e2a7f63eedc91c6ae229d887695fa49b5160cd8c1a93b4c12c2b2f0b4a85b0d19&idx=1&lang=zh_CN&mid=2247483858&scene=21&sn=bae4338d85dad65dff75ca161df6ef60&token=1784406663#wechat_redirect
[GAN 6]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a30ec95e2a1836165bc4d1a670bace96a05ef547cd3991949db5e00c8dc7731c5668afc0&idx=1&lang=zh_CN&mid=2247483829&scene=21&sn=b8b9bf3902ce7e2483bcd5057992849c&token=190166899#wechat_redirect
[SSL_GAN]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a01cc95e290af1f7bcc06237028208bd2140e02ef5509776f5d9070a8a70f78d75c884d7&idx=1&lang=zh_CN&mid=2247484071&scene=21&sn=018e11036e888dd9873c12a0ea205665&token=1492014550#wechat_redirect
[AL_GAN]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a336c95e2a2087acaae08c63773b5de3ea141b47522bb0377aa5a0135119cabc0274d86f&idx=1&lang=zh_CN&mid=2247483789&scene=21&sn=20fea3902d6e425144d97460f0160721&token=492810919#wechat_redirect
[GAN_gan]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a3cbc95e2addbbeade50ca6299cb97196df8750cd25cbedf6169a4c9f8770ff21f09c811&idx=1&mid=2247483760&scene=21&sn=e5af2db822a26388c8882458ae97c02b&xtrack=1#wechat_redirect
[Link 2]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&idx=1&mid=2247483667&scene=21&sn=65df23ba3e092ae03c37d66215f5f2bf#wechat_redirect
[GAN 7]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&idx=1&mid=2247483658&scene=21&sn=ab33d63cf578661e58904e3be4bd4542#wechat_redirect
[1_GAN]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&idx=1&mid=2247483693&scene=21&sn=d62d43ad8d74b924204aa639bd69760c#wechat_redirect
[01-GAN]: https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&idx=1&mid=2247483662&scene=21&sn=d72391b5761e456a9fbf8a788f4ea4cd#wechat_redirect
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9McXhEanVDWlQzaWJnM0pCZExyNVl0QkFzNTNEaWJjZkNPQWMzRUM2WHk0Z1FQTFdVSDNjV2VEU1ZMV0FEYUp1dnVscHF0RlVhTzVRd3pWUW1LdlVOTlNBLzY0MA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9McXhEanVDWlQzaWNJRWp3QzhpYUdtVkEwVHhFclduenl1TjBSR0tNUEgwbFNpYmxpYVd4TEhMZUVEM1JJODk0Nmpva1QzQWM2YmRCc3V6TTROTkJKbDdWaWJRLzY0MA?x-oss-process=image/format,png