二次元的正确打开方式

﹏ヽ暗。殇╰゛Y 2022-11-01 00:46 189阅读 0赞

![二次元的正确打开方式][7bb16f84d073aa0e3664fa2db9337463.png]

> 本文 GitHub [https://github.com/Jack-Cherish/PythonPark][https_github.com_Jack-Cherish_PythonPark] 已收录，有技术干货文章，整理的学习资料，一线大厂面试经验分享等，欢迎 Star 和 完善。

## 一、前言 ##

大家好，我是 Jack 。

去年发表的「[Talking Head Anime][]」大家都看过了吧？

最近，这位谷歌工程师对算法进行了升级，「Talking Head Anime 2」**效果更好**！

只需要一张 PNG 二次元角色图片，就可以生成**虚拟偶像**，生成**带面部表情捕捉**的 Vtuber 角色。

二次元的正确打开方式

老规矩，今天就教大家怎么玩！

## 二、算法原理 ##

算法的核心思想是：给定某个动漫人物的一张人脸图像和六轴的姿态信息（Pose），生成同一人物的另一张人脸图像。

通过实时控制六轴的姿态信息（Pose），来达到实时控制动漫人物的效果。

![二次元的正确打开方式][0fc4dec277673010cf108318edcaa869.png]

整个过程分类两个步骤：

*  第一步：改变面部表情，即控制眼睛和嘴的开闭程度。
 *  第二步：人脸旋转。

每一步都使用单独的一个网络，并将第一个网络的输出作为第二个网络的输入。

第一个网络为人脸变形器，第二个网络为人脸旋转器。

![二次元的正确打开方式][54e4ddfd5fc3d4f9f32c6ebc97d58313.png]

为了获得更好的面部动作，作者本次升级将姿态维度增加到了 **42 维**。

同时在人脸变形器中增加了**眉毛、眼睛、嘴巴**形变器。

![二次元的正确打开方式][96764e573399f3be495ccd37904d6af6.png]

眉毛变形器：可以分割出眉毛，并控制眉毛扭曲的形状。

![二次元的正确打开方式][4eb867e1a6b9bd303ccd2e47eab8637f.png]

眼睛和嘴巴变形器的网络也是类似操作。

![二次元的正确打开方式][3f6a00359ff519dd5c9bf580c357f059.png]

更具体的原理，详见作者的论文：

[https://pkhungurn.github.io/talking-head-anime-2/][https_pkhungurn.github.io_talking-head-anime-2]

## 三、算法测试 ##

「Talking Head Anime 2」还没有开源，不过应该马上就有了。

着急，可以先玩一玩「Talking Head Anime」，效果也很不错，同时也算为第二代做环境的准备了。

项目地址：

[https://github.com/pkhungurn/talking-head-anime-demo][https_github.com_pkhungurn_talking-head-anime-demo]

第一步：配置开发环境。

依赖不多，使用 Anaconda 配置安装下即可。

![二次元的正确打开方式][70c43f1858f4d91fe8c67686d227b0d4.png]

这里有详细的环境配置教程：《[一劳永逸的 Python 开发环境搭建][Python]》

第二步：下载代码和权重文件。

一共四个权重文件，下载好并它们放在工程目录的 data 目录下。

![二次元的正确打开方式][014886e6194110a74ea544ae52af5b14.png]

我将代码和权重文件，进行了打包，可以直接下载使用（提取码：jack）：

[https://pan.baidu.com/s/1MlBYx2EhyZgRoD7nXWayBA][https_pan.baidu.com_s_1MlBYx2EhyZgRoD7nXWayBA]

第三步：运行程序。

python app/manual_poser.py

超级简单，运行效果：

![二次元的正确打开方式][afad681e33b8b7e56147770465d0332d.gif]

## 四、总结 ##

很期待第二个优化版本，效果绝对更好！

真实人脸也是可以这样控制的，只是需要的维度更多，数据更多。

现在各种**[虚拟主播][Link 1]**已经登场了，在直播领域上线了不少相关产品，后续这类技术会做的越来越好。

三次元的人脸模型驱动也将不在话下。

我是 Jack，我们下期见。

> 文章首发链接：  
> [二次元的正确打开方式][Link 2]

[7bb16f84d073aa0e3664fa2db9337463.png]: /images/20221024/0148d2be7d394e2a9ffa1e2f3a490b26.png
[https_github.com_Jack-Cherish_PythonPark]: https://github.com/Jack-Cherish/PythonPark
[Talking Head Anime]: https://cuijiahua.com/blog/tag/talking-head-anime/
[0fc4dec277673010cf108318edcaa869.png]: /images/20221024/022e4557868842398e5492189c9d538f.png
[54e4ddfd5fc3d4f9f32c6ebc97d58313.png]: /images/20221024/1f138a809dba425396761d614873cbd1.png
[96764e573399f3be495ccd37904d6af6.png]: /images/20221024/a2128a497cbd4821b0a37e8d74d4bbb5.png
[4eb867e1a6b9bd303ccd2e47eab8637f.png]: /images/20221024/b9355088b98f47819f6f03f7492184de.png
[3f6a00359ff519dd5c9bf580c357f059.png]: /images/20221024/4f6a0b5eb00444eba939458662ea4cf6.png
[https_pkhungurn.github.io_talking-head-anime-2]: https://pkhungurn.github.io/talking-head-anime-2/
[https_github.com_pkhungurn_talking-head-anime-demo]: https://github.com/pkhungurn/talking-head-anime-demo%C2%B7
[70c43f1858f4d91fe8c67686d227b0d4.png]: /images/20221024/11180e752a084cd9869897d0dc6a3bc9.png
[Python]: https://cuijiahua.com/blog/2020/10/dl-basics-1.html
[014886e6194110a74ea544ae52af5b14.png]: /images/20221024/320c1cd8a85445c3a5868c081c97b5a8.png
[https_pan.baidu.com_s_1MlBYx2EhyZgRoD7nXWayBA]: https://pan.baidu.com/s/1MlBYx2EhyZgRoD7nXWayBA
[afad681e33b8b7e56147770465d0332d.gif]: /images/20221024/f00944bce247498d99e3a8bcf1e20e34.png
[Link 1]: https://cuijiahua.com/blog/tag/%E8%99%9A%E6%8B%9F%E4%B8%BB%E6%92%AD/
[Link 2]: http://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/dsI4wyRddYzmZoZrg1oV6w