AI算法图片转二次元卡通

悠悠 2022-10-10 04:47 113阅读 0赞

也可以看这篇博客：

[https://blog.csdn.net/c406495762/article/details/118197090][https_blog.csdn.net_c406495762_article_details_118197090]

一张图片或者视频，就可以生成相应的二次元“老婆”。

效果图：

![20210624214523953.gif][]

去年发表的「Talking Head Anime」大家都看过了吧？

最近，这位谷歌工程师对算法进行了升级，「Talking Head Anime 2」**效果更好**！

只需要一张 PNG 二次元角色图片，就可以生成**虚拟偶像**，生成**带面部表情捕捉**的 Vtuber 角色。

作者亲自上场，动漫头像根据作者的口型和头部动作实时「演唱」，**作者的完整视频**：

**算法原理**

算法的核心思想是：给定某个动漫人物的一张人脸图像和六轴的姿态信息（Pose），生成同一人物的另一张人脸图像。

通过实时控制六轴的姿态信息（Pose），来达到实时控制动漫人物的效果。

![图片][45bb525dce203798e14749b06e0a442f.png]

整个过程分类两个步骤：

*  第一步：改变面部表情，即控制眼睛和嘴的开闭程度。
 *  第二步：人脸旋转。

每一步都使用单独的一个网络，并将第一个网络的输出作为第二个网络的输入。

第一个网络为人脸变形器，第二个网络为人脸旋转器。

![图片][17df9ea20600002c646b6ced228c0585.png]

为了获得更好的面部动作，作者本次升级将姿态维度增加到了 **42 维**。

同时在人脸变形器中增加了**眉毛、眼睛、嘴巴**形变器。

![图片][d069ab161858b3088a9f2fa01da38cd9.png]

眉毛变形器：可以分割出眉毛，并控制眉毛扭曲的形状。

![图片][246aadfaa2be3d981a47626d1502c294.png]

眼睛和嘴巴变形器的网络也是类似操作。

![图片][2ffa409fe1564ebd2a9b511e20e10338.png]

更具体的原理，详见作者的论文：

https://pkhungurn.github.io/talking-head-anime-2/

**算法测试**

「Talking Head Anime 2」还没有开源，不过应该马上就有了。

着急，可以先玩一玩「Talking Head Anime」，效果也很不错，同时也算为第二代做环境的准备了。

开源地址1：

[https://colab.research.google.com/github/mchong6/GANsNRoses/blob/main/inference\_colab.ipynb\#scrollTo=aD8le\_4fPfv6][https_colab.research.google.com_github_mchong6_GANsNRoses_blob_main_inference_colab.ipynb_scrollTo_aD8le_4fPfv6]

项目地址：

https://github.com/pkhungurn/talking-head-anime-demo

第一步：配置开发环境。

依赖不多，使用 Anaconda 配置安装下即可。

![图片][7d9d4e1c3485db97008f14e125ebd310.png]

这里有详细的环境配置教程：[别再折腾开发环境了，一劳永逸的搭建方法][Link 1]

第二步：下载代码和权重文件。

一共四个权重文件，下载好并它们放在工程目录的 data 目录下。

![图片][d8ed0610aa7af6a682609c0dfeea7716.png]

我将代码和权重文件，进行了打包，可以直接下载使用（提取码：jack）：

https://pan.baidu.com/s/1VmLncRBTl4zJMo4nHsUf4w

第三步：运行程序。

python app/manual_poser.py

超级简单，运行效果：

![图片][0c1228c10c1c7efdcd5624a8c86db915.gif]

**总结**

很期待第二个优化版本，效果绝对更好！

真实人脸也是可以这样控制的，只是需要的维度更多，数据更多。

现在各种**虚拟主播**已经登场了，在直播领域上线了不少相关产品，后续这类技术会做的越来越好。

三次元的人脸模型驱动也将不在话下。

[https_blog.csdn.net_c406495762_article_details_118197090]: https://blog.csdn.net/c406495762/article/details/118197090
[20210624214523953.gif]: /images/20221005/29b8b3089916470985f0ceeb1b515aed.png
[45bb525dce203798e14749b06e0a442f.png]: /images/20221005/cfd628c689434ef9b2c336ad6159bff0.png
[17df9ea20600002c646b6ced228c0585.png]: /images/20221005/1aa7b00b33e94decbd17ef32e4e7ebf9.png
[d069ab161858b3088a9f2fa01da38cd9.png]: /images/20221005/c8dce753298f49c3bccaf0f8ae71d80c.png
[246aadfaa2be3d981a47626d1502c294.png]: /images/20221005/f5ec5ead3ad948b891d57630bdb1b228.png
[2ffa409fe1564ebd2a9b511e20e10338.png]: /images/20221005/ec0c42936987490b8520c7ead88d1505.png
[https_colab.research.google.com_github_mchong6_GANsNRoses_blob_main_inference_colab.ipynb_scrollTo_aD8le_4fPfv6]: https://colab.research.google.com/github/mchong6/GANsNRoses/blob/main/inference_colab.ipynb#scrollTo=aD8le_4fPfv6
[7d9d4e1c3485db97008f14e125ebd310.png]: /images/20221005/56e1e82d4918450185bea9a5914e6f85.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIxODg1OTk1MA==&mid=2247485887&idx=1&sn=afa6a88a400d654beba94a929767d482&chksm=97e5597ea092d0680dc4ea9b761a9d4d207bd46529ac7c2ac7be2ebef48eab3065cc14fdef28&scene=21#wechat_redirect
[d8ed0610aa7af6a682609c0dfeea7716.png]: /images/20221005/32cea249bd32480ca13f5eb332436a33.png
[0c1228c10c1c7efdcd5624a8c86db915.gif]: /images/20221005/7e3e200a2aaa46089c05f64857aca588.png