AI会P图：你来描述，我来P

拼搏现实的明天。 2022-11-16 15:24 247阅读 0赞

> 本文 GitHub [https://github.com/Jack-Cherish/PythonPark][https_github.com_Jack-Cherish_PythonPark] 已收录，有技术干货文章，整理的学习资料，一线大厂面试经验分享等，欢迎 Star 和 完善。

最近，Transformer 是一个非常火的方向。

比如曾经介绍过的，DALL·E 可以魔法一般按照自然语言文字描述直接生成对应图片。

例如，输入文本：鳄梨形状的扶手椅。

AI 生成的图像：

![P图大师在线搞事，你来描述我来P][P_P]

再比如曾经出过的教程：

[用自己训练的AI玩王者荣耀是什么体验？][AI]

这两天，OpenAI 又出新活，StyleCLIP 闪亮登场。

StyleCLIP 根据**文本描述，修改图片，精准PS**。直接看效果：

![P图大师在线搞事，你来描述我来P][P_P 1]

让奥巴马留**莫西干发型**，**一键卸妆**，让猫猫**变萌**，老虎**变狮子**，建筑风格**变成哥特式建筑**。

只需**一张图片**，**一段描述**，StyleCLIP就可以对图片进行修改和创作。

![P图大师在线搞事，你来描述我来P][P_P 2]

AI文字理解，图片修改和创作，一步到位。再也不用怕网络P图大师们的“满分理解”和骚操作了。

![P图大师在线搞事，你来描述我来P][P_P 3]

今天继续手把手教学，玩转**`StyleCLIP`**，**准备好了吗？**

## StyleCLIP ##

**`StyleCLIP`**顾名思义，结合了**`StyleGAN`**与**`CLIP`**模型。

前者，是当下主流的图像生成算法，后者，是大规模图文预训练模型。

两者结合，就可以实现文本到图像的编辑。

**`StyleGAN`**通过在隐空间（latent space）控制隐藏特征（latent code）来控制图片的属性，生成风格各异的图像。

**`StyleGAN`**应该都很熟悉，简单介绍下**`CLIP`**。

`CLIP`就是**`Contrastive Language-Image Pre-Training`**的缩写，即大规模图文预训练模型，也是**`OpenAI`**的近作。

**`CLIP`**的文本和图像编码器都是基于**`Transformer`**结构的。

**`Transformer`**的详细教程，可以看我之前发过的文章：

[保姆级教程：硬核图解Transformer][Transformer]

`CLIP`算是迈出了多模态的第一步，可以用于多类型图文联合检索。

本质上，**`CLIP`**模型检索的原理是比较特征空间中两个特征编码的余弦相似度，所以并不局限在文本特征与图像特征的比较。

比如，文本-图像检索。

检索文本：“Tokyo tower at night.”

![P图大师在线搞事，你来描述我来P][P_P 4]

检索文本：“People come and go on the street.”

![P图大师在线搞事，你来描述我来P][P_P 5]

再比如，文本+文本-图像检索。

检索文本1：“Flower”，检索文本2：“Blue sky”

![P图大师在线搞事，你来描述我来P][P_P 6]

**`StlyCLIP`**主要是利用**`CLIP`**模型的力量来实现基于文本的语义图像操作，这种操作的好处是，**它既不局限于预设的操作方向，也不需要额外的手动操作**。

**`StlyCLIP`**整体思想就是：利用**`CLIP`**为基础的损失修改**`StyleGAN`**输入的隐藏特征，从而响应用户提供的文本形式。

![P图大师在线搞事，你来描述我来P][P_P 7]

比如根据用户文本：Orange、Big Ears、Big Nose、Cute改变原图。

主要使用了三种技术：

*  Optimizer：以文本为指导的 latent 优化，其中 CLIP 模型被用作一个损失网络，这是一种通用方法，但需要几分钟的时间来进行优化，以对图片进行操作；
 *  Mapper：训练一个用于特定文本提示的 latent 残差映射器。在隐空间中给定一个起点（需要操作的输入图像），映射器在隐空间中产生一个局部步骤；
 *  global dir：一种在 StyleGAN 的 style space 中将文本提示映射到输入无关（全局）方向（global direction）的方法，提供了对操作强度和解耦的控制。

更详细的内容，可以直接看论文：

[https://arxiv.org/pdf/2103.17249.pdf][https_arxiv.org_pdf_2103.17249.pdf]

## 算法测试 ##

**`StyleCLIP`**完全开源，项目地址：

[https://github.com/orpatashnik/StyleCLIP][https_github.com_orpatashnik_StyleCLIP]

如果不想搭建开发环境，可以直接用`Google Colab`工程：

[https://colab.research.google.com/github/orpatashnik/StyleCLIP][https_colab.research.google.com_github_orpatashnik_StyleCLIP]

运行**`Google Colab`**代码有些问题，需要自己修改下代码：

![P图大师在线搞事，你来描述我来P][P_P 8]

迭代100次，大约3分钟，运行结果：

![P图大师在线搞事，你来描述我来P][P_P 9]

本地搭建环境也不复杂，**`StyleCLIP`**需要先配置**`CLIP`**，然后安装第三方库。

![P图大师在线搞事，你来描述我来P][P_P 10]

**权重文件**在 Google Drive 下载很慢，我已经提前为**大家准备好了**，**直接下载即可**（**提取码**：46pz）：

[https://pan.baidu.com/s/1n\_CNA\_ypxJKuW0rf-4CrZg][https_pan.baidu.com_s_1n_CNA_ypxJKuW0rf-4CrZg]

其它没什么难度，就不展开说明了。

## 絮叨 ##

`Transformer`真的火，有必要好好学一学。

我是 Jack ，我们下期见。

> 文章转自我的公众号：
> 
> [https://mp.weixin.qq.com/s/4LNAwEoGjH8YYbp2w8Z9Rg][https_mp.weixin.qq.com_s_4LNAwEoGjH8YYbp2w8Z9Rg]

[https_github.com_Jack-Cherish_PythonPark]: https://github.com/Jack-Cherish/PythonPark
[P_P]: /images/20221022/cf5dcfa9262f4047b6a27276771c2bbb.png
[AI]: https://cuijiahua.com/blog/2021/01/ai-10.html
[P_P 1]: /images/20221022/497ff9d774234f97b73e2c7b0fcd4c06.png
[P_P 2]: /images/20221022/384b1783f6614db89db11f54d8434b6f.png
[P_P 3]: /images/20221022/80f9e6665f6f4269809ca54b58be6b92.png
[Transformer]: https://mp.weixin.qq.com/s/jx-2Ai2YKbwODW6uJaF3hQ
[P_P 4]: /images/20221022/488159508eea4d88899895b3a16011f5.png
[P_P 5]: /images/20221022/0e676418aa274f3db0626ceacab2c13f.png
[P_P 6]: /images/20221022/eebe4a5b2c594462b8335fb409d0d01d.png
[P_P 7]: /images/20221022/bb6364eaef9141c88204b8c333cdd9a5.png
[https_arxiv.org_pdf_2103.17249.pdf]: https://arxiv.org/pdf/2103.17249.pdf
[https_github.com_orpatashnik_StyleCLIP]: https://github.com/orpatashnik/StyleCLIP
[https_colab.research.google.com_github_orpatashnik_StyleCLIP]: https://colab.research.google.com/github/orpatashnik/StyleCLIP
[P_P 8]: /images/20221022/9d3d15606b5b4768bd360d7660ccb0fa.png
[P_P 9]: /images/20221022/382408c14b4944b6a9d08e21cf0b9b48.png
[P_P 10]: /images/20221022/0bdc6df36c224b0e9ce317597a7115c3.png
[https_pan.baidu.com_s_1n_CNA_ypxJKuW0rf-4CrZg]: https://pan.baidu.com/s/1n_CNA_ypxJKuW0rf-4CrZg
[https_mp.weixin.qq.com_s_4LNAwEoGjH8YYbp2w8Z9Rg]: https://mp.weixin.qq.com/s/4LNAwEoGjH8YYbp2w8Z9Rg