AnimeGANv2：照片动漫化

待我称王封你为后i 2022-10-12 05:54 371阅读 0赞

## 简介 ##

本文介绍一个很有趣的基于GAN来将现实图片动漫化的项目，为AnimeGANv2，它可以将现实场景的图片处理为动漫画分，目前支持宫崎骏、新海诚和今敏的三种风格。由于原作者使用的是TensorFlow，环境配置上稍显麻烦，本文介绍的是基于PyTorch的实现，此外，本文侧重于如何在本地使用该项目，具体原理可以参考[原论文][Link 1]或者作者的[解读][Link 2]。

## 安装 ##

本项目是一个使用PyTorch的AnimeGANv2的实现，作者为[bryandlee][]，项目地址为给出[链接][Link 3]，我这里基于该项目进行处理，所以首先需要配置好适合该项目的环境，具体需要的安装步骤如下（所演示的过程均在Ubuntu系统下测试成功）。

首先，将该项目clone到本地，使用如下命令即可完成。

git clone https://github.com/bryandlee/animegan2-pytorch

然后，进入clone到本地的项目中（`cd`），会看到如下的项目结构，该项目的核心工作就是使用PyTorch构建的生成器模型并将原始TensorFlow的模型参数转换为了PyTorch模型参数，其中构建模型的脚本为`model.py`而转换模型的脚本对应为`convert_weights.py`，然后`test.py`则是封装的一个推理的接口。

.
    ├── convert_weights.py
    ├── model.py
    ├── README.md
    ├── samples
    │   ├── compare
    │   │   ├── 1.jpg
    │   │   ├── 2.jpg
    │   │   └── 3.jpg
    │   ├── face_results.jpg
    │   ├── faces
    │   └── inputs
    │       ├── 1.jpg
    │       ├── 2.jpg
    │       └── 3.jpg
    ├── test_faces.ipynb
    └── test.py

为了使用原始的模型参数，这里首先需要转换TF模型，因此是需要安装TensorFlow的，不过我这里已经将原作者的三个模型（对应三种风格，分别是`generator_Hayao_weight`、`generator_Paprika_weight`和`generator_Shinkai_weight`）转换成功了，直接从我的[网盘链接][Link 4]（提取码zczc）下载即可，会得到三个预训练模型文件，分别是`pytorch_generator_Paprika.pt`、`pytorch_generator_Shinkai.pt`和`pytorch_generator_Hayao.pt`，下载后将它们放到项目根目录的`models`文件夹下（没有则新建）。

接着，就是不需要TensoFlow的环境配置了，我这里给出使用conda虚拟环境的完整命令。

conda create -n animegan python=3.8 -y
    conda activate animegan
    conda install pytorch=1.6 torchvision cudatoolkit=10.2 -c pytorch -y
    pip install opencv-python

**至此，本项目需要的所有环境就配置完成了。**

## 现实图片动漫化 ##

想要使用该项目，非常简单，只需要调用`test.py`文件即可，具体的命令格式如下。

python test.py --checkpoint [模型文件路径] --input_dir [输入图像所在目录] --output_dir [输出目录] --device [设备选择，cpu或者cuda]

例如，我这里有一个测试图片放在根目录的`samples`下的`inputs`目录中，我个人喜欢新海诚的风格，想要生成在根目录的`results`文件夹下，并使用CPU进行推理，因此使用命令`python test.py --checkpoint ./models/pytorch_generator_Shinkai.pt --input_dir ./samples/inputs/ --output_dir ./results/ --device cpu`即可。

我这里使用测试图片生成的结果如下，左边为原始图像，右边为生成的图像。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center]

下面的图为项目作者对比的原始图像、Tensor Flow版本生成图像、PyTorch版本生成图像，风格为Paprika。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center 2]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center 3]

## 总结 ##

本文简单介绍如何使用AnimeGANv2这个开源项目来将现实图片转换为动漫风格图像，该项目对应的模型很轻量，即使线上部署使用CPU推理也不慢。最后，如果读到了这里并且我的文章对你有所帮助，欢迎一键三连，你的支持是我不懈创作的动力。

[Link 1]: https://link.springer.com/chapter/10.1007/978-981-15-5577-0_18
[Link 2]: https://zhuanlan.zhihu.com/p/174202834
[bryandlee]: https://github.com/bryandlee
[Link 3]: https://github.com/bryandlee/animegan2-pytorch
[Link 4]: https://pan.baidu.com/s/1noYxo6XwMPep3E7LJgFb9w
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/6f8e2531b50147edb4178fd43da556e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221005/fe72b9a45387468dae9057d089c8086c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221005/06e462979081482891ffcb48671dead4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VjaGVuMTk5OA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221005/0e3a63d08bad406291165d1280d7abb2.png