1小时1篇文学会用python进行AI修复！

客官°小女子只卖身不卖艺 2023-01-19 03:06 165阅读 0赞

大家好，我是 Jack。

上两天，「AI修复五四运动现场」热搜大家看到了吗？

![51b8bcfd610770d3b52164776d8d3981.png][]

热搜`1.8`亿+阅读，`5.1`万+讨论。利用 AI 技术，修复五四运动现场。

这个就是`3`月初，央视的工作人员找我谈的合作项目之一，当时还发了个吹水文。

[差点上央视][Link 1]

后来，这个项目另外一个up主做了。**显而易见的是，越来越多的企业，在结合 AI 做一些有意义的创新。**

所以，想从事算法工程师的工作，那就放心大胆地去学、去准备，不要被知乎这类问题所困扰：

![f825a089574a9db896be46db8c7edcd1.png][]

要知道，这类问题从`2017`年就开始了。

![517c59b268bde817d87041a34d524ef9.png][]

这两年，又流行了新词「内卷」，好家伙，啥都可以内卷了。

不信，可以用知乎去搜下，程序员内卷、算法内卷、后端内卷，啥都可以卷，一搜一大把。

有能力的人，根本不会因为内卷而找不到工作，提高核心竞争力才是关键。

这些所谓的「内卷」，也是我国快速发展带来的结果，各行各业都是如此。

成为卷王之王，我们都有光明的未来。

![fb84bd48be9b82884fe2a29b92db5066.png][]

## AI修复 ##

话题有些跑偏，我们回归正题： AI 修复。

这篇算是科普文了，介绍下「AI修复五四运动现场」用到了哪些 AI 技术。

这些老图片，老视频的资料都是黑白的，有的画面还有磨损，并且老视频帧率略低。

针对这几个特点，主要采用三样算法即可：

*  着色算法：将黑白图片转为彩色图片;
 *  修复算法：修复磨损画面；
 *  帧插算法：提高视频帧率。

### 着色算法 ###

**着色算法，是整个处理流程的核心。**

着色算法有很多种，其中比较出名，我经常用的是 DeOldify。

DeOldify 不仅可以对图片着色，其实本身也具有一定的**修复画面的能力**。

曾经上过热搜的修复百年前老北京的影像，就是用的这个算法。

![40b1eb49ced4ee0282ed80d5e32c08fe.png][]

`19`世纪`80`年代的巴黎。

![91d2162ed35d198c24cf7d9d7b1b19b2.png][]

DeOldify 就是一种对抗生成网络的应用。

其原理是使用 NoGAN 技术，结合了 GAN 训练的优点，比如出色的着色效果，同时也消除了一些副作用，比如画面着色不稳定、闪烁的现象。

NoGAN 生成器进行了预先训练，使其利用常规损失函数，变得更强大、更快、更可靠。

![2d17bef62bec9bac4ac3ac9ed604f836.gif][]

项目地址：

> https://github.com/jantic/DeOldify

需要配置的上文一样，安装一些库，然后下载模型权重文件。

项目工程页里详细说明了下载哪些文件，需要安装什么。

配置好后，在工程目录编写如下代码：

#NOTE:  This must be the first call in order to work properly!
    from deoldify import device
    from deoldify.device_id import DeviceId
    #choices:  CPU, GPU0...GPU7
    device.set(device=DeviceId.GPU0)
    
    import torch
    
    if not torch.cuda.is_available():
        print('GPU not available.')
        
    import fastai
    from deoldify.visualize import *
    import warnings
    warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")
    
    colorizer = get_image_colorizer(artistic=True)
    
    colorizer.plot_transformed_image("test_images/1.png", render_factor=10, compare=True)

test\_images/1.png 为要上色的图片，运行程序，就可以实现为黑白照片上色。

![782c58e63fd36593f4979c7678248367.png][]

**模型、代码、素材**都已打包，工程下载地址。

网盘下载链接（提取码：jack）：

[https://pan.baidu.com/s/17sma\_a1ICJMY07KLnDpiww][https_pan.baidu.com_s_17sma_a1ICJMY07KLnDpiww]

打开 Jupyter 直接运行 run.ipynb 文件即可，生成的结果保存在 result\_images 文件夹中。

除了处理图片，视频着色也不在话下。

### 修复算法 ###

如果着色算法，例如 DeOldify，着色和修复的效果已经不错了，其实就不必加修复算法了。

但是如果效果不佳，那就可以再单独加个修复算法。

比较出名的是，微软 2020 年最新的一篇 CVPR 文章：「Bringing Old Photo Back to Life」。

作者使用变分自动编码机（VAE）将图像变换到隐空间，并在隐空间进行图像恢复操作。

![922deadc1193b7b81ce39e8c6fbc9913.png][]

可以看下修复效果：

![40c0337e5bf676bbfeb90e39bdfa4734.png][]

关于该算法的原理，我出过教程，可以直接看这个：

[百年老照片修复算法，那些高颜值的父母！][Link 2]

项目地址：

> https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

项目依赖于「Synchronized-BatchNorm-PyTorch」，按照教程配置即可。

第一步，clone 工程：

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

第二步，进入工程目录，clone 依赖项目：

cd Face_Enhancement/models/networks/
    git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
    cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
    cd ../../../
    
    cd Global/detection_models
    git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
    cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
    cd ../../

第三步，下载预训练模型。

cd Face_Detection/
    wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
    bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
    cd ../

然后分别下载 Global 和 Face\_Enhancement 的训练好的模型，并解压，放在对应目录下。

可以下载我打包好的工程，模型、代码、素材，都打包好了。

网盘链接（提取码：jack）：

[https://pan.baidu.com/s/1jVjd8dS0j0AnWeFI-7l-eA][https_pan.baidu.com_s_1jVjd8dS0j0AnWeFI-7l-eA]

使用方法：

没有裂痕的图像修复，就是图片不清晰，可以用如下指令：

python run.py --input_folder [test_image_folder_path] \
                  --output_folder [output_path] \
                  --GPU 0

将你想修复的图片放到 test\_image\_folder\_path 目录下（自己指定），生成的图片会放到 output\_path 目录中。

对于裂痕的图片，需要额外增加一个参数，指令如下：

python run.py --input_folder [test_image_folder_path] \
                  --output_folder [output_path] \
                  --GPU 0 \
                  --with_scratch

这里需要注意的是，指定的路径需要使用**绝对路径**。

### 帧插算法 ###

帧插算法也很多，例如 DAIN、RIFE、Super SloMo 等，这里简单介绍下 DAIN。

DAIN 可以提高视频的帧率，比如现在，连手机都开始用上`120`帧的显示屏，但是网上大部分的视频还是`24`帧。

视频的帧率已经远远赶不上人民群众的需求了，所以有不少人都在研究如何把普通视频变成高帧率视频。

这项技术，显然也可以应用在 AI 修复上，用来提高视频的帧率，带啦更加丝滑的视频浏览体验。

DAIN 可以扩展到常见的任何类型视频：电影、定格动画、 动画卡通等等。

![80b61ca4df0a4d4620fd73dd7eb51357.gif][]

项目地址：

> https://github.com/baowenbo/DAIN

使用方法和上面两个算法完全一样：配置环境、下载权重、运行代码。

这里就不赘述，大家可以自行尝试。

## 总结 ##

AI 修复，效果上仍然有所欠缺，比如有些场景颜色修复的不够自然，但发展空间很大，针对一些特定场景 finetune 一番，绝对能有提升。

总之，AI 可以做很多有意义的事情，尽情发挥吧~

开工了，该收心了。

**最后再送大家一本帮助我拿到BAT 等一线大厂 offer 的数据结构刷题笔记，是一位 Google 大神写的，对于算法薄弱或者需要提高的同学都十分受用（提起码：m19c）：**

[BAT 大佬分类总结的 Leetcode 刷题模版，助你搞定 90% 的面试][BAT _ Leetcode _ 90_]

**更加详细的算法学习路线，包括算法、数学、编程语言、比赛等的学习方法和资料，可以看这篇内容：**

[我是如何成为算法工程师的，超详细的学习路线][Link 3]

我是 Jack，我们下期见。

[51b8bcfd610770d3b52164776d8d3981.png]: /images/20221021/69daecb201ee4cb8882887d014513422.png
[Link 1]: https://mp.weixin.qq.com/s/tOgJ1cOdR-dXhOfBb4_gag
[f825a089574a9db896be46db8c7edcd1.png]: /images/20221021/25f514bda5164882a9b790f255b18262.png
[517c59b268bde817d87041a34d524ef9.png]: /images/20221021/723c39765c244700adc54c0b4e1d2304.png
[fb84bd48be9b82884fe2a29b92db5066.png]: /images/20221021/2887fce382ee43b78a9576b140339bb3.png
[40b1eb49ced4ee0282ed80d5e32c08fe.png]: /images/20221021/8e2f49e0480946139b515b4342ba66a3.png
[91d2162ed35d198c24cf7d9d7b1b19b2.png]: /images/20221021/fc409665f9cb47eda9e356c91af3d464.png
[2d17bef62bec9bac4ac3ac9ed604f836.gif]: /images/20221021/24dff86fbf3d4b458685d66cc7950b68.png
[782c58e63fd36593f4979c7678248367.png]: /images/20221021/6a6a46f2734a495e9f8a2706adfaa175.png
[https_pan.baidu.com_s_17sma_a1ICJMY07KLnDpiww]: https://pan.baidu.com/s/17sma_a1ICJMY07KLnDpiww
[922deadc1193b7b81ce39e8c6fbc9913.png]: /images/20221021/c26a017075dc498ba4468fbee5a6cb29.png
[40c0337e5bf676bbfeb90e39bdfa4734.png]: /images/20221021/bd3df0f49ab84a34bb8ce253b5c703fe.png
[Link 2]: https://mp.weixin.qq.com/s/hsMppcLioJbXSZ2ZL8bnug
[https_pan.baidu.com_s_1jVjd8dS0j0AnWeFI-7l-eA]: https://pan.baidu.com/s/1jVjd8dS0j0AnWeFI-7l-eA
[80b61ca4df0a4d4620fd73dd7eb51357.gif]: /images/20221021/47768f45101c46ecae210a25abf30856.png
[BAT _ Leetcode _ 90_]: https://pan.baidu.com/s/1txDItPwDrnG8mOloOFbGaQ
[Link 3]: https://mp.weixin.qq.com/s/oQHXG2pdJXLQpeBsNQkPDA