风格迁移理论

小鱼儿 2022-04-17 03:00 261阅读 0赞

## 算法论述 ##

*  风格迁移，就是将两幅画给融合在一起。

**如果说是把两幅画融合在一起呢？**

现在假设三幅画:

*  一幅画表示的是**风格画，设为A**
 *  一幅画表示的是**内容画，设为B**
 *  一幅画表示的是**输出画，设为C**

我们要做的其实很简单。  
**两件事：**

*  让C和A的内容很相近。
 *  让C和B的风格很相近。

所以说，只需要给出**内容差异度**和**风格差异度**两个度量值之后，我们再降低这两个值就好了。

**现在难点来了。如何度量呢？**

关于**内容的差异度：**

*  **两幅画的每个像素点的数值距离。** (常见的有绝对值，差的平方)

关于**风格的差异度：**  
（这是一个难点，有个大神提出了使用Gram矩阵来解决这个问题。\[^1\]）

*  一张图片在经过卷积网络之后，就可以得到一个特征图，Gram就是在这个图上定义出来的。\[^1\]

**Gram定义：**  
图片的**shape**一般是：`[C, M, N]`

*  `C：`通道数（也有人喜欢称这个为高）
 *  `M, N`表示是图片的长宽

**Gram矩阵计算**

*  **Gram矩阵规模：** `[C, C]`
 *  其实就是每一个色层的图像之间的关系。**这是合理的，因为，我们认知的风格这里很大程度上是考虑的是颜色变化的风格。** （要是不想要有特征的方式，那就用别的风格距离的定义呗。）
 *  Gram(i,j) 就是把这两层的矩阵提出来，即有两个`[M, N]`的矩阵。然后，让这两个矩阵对应的位置做乘法之后，再做加法。（**卷积的过程**）

**其实就是不同色层的卷积来构成的矩阵。**

之后，用上面的内容的矩阵的变化方式来计算就好了。

## 代码 ##

（本来打算也放代码的。但是发现网上的这些代码只用CPU的话实在是太慢了。。）  
[https://blog.csdn.net/q295684174/article/details/79065032][https_blog.csdn.net_q295684174_article_details_79065032]  
这个链接上的代码是可以跑的，就是特别慢。

[https://www.jianshu.com/p/8f8fc2aa80b3][https_www.jianshu.com_p_8f8fc2aa80b3]

[https_blog.csdn.net_q295684174_article_details_79065032]: https://blog.csdn.net/q295684174/article/details/79065032
[https_www.jianshu.com_p_8f8fc2aa80b3]: https://www.jianshu.com/p/8f8fc2aa80b3

发表评论取消回复

表情：

评论列表（有 0 条评论，261人围观）

还没有评论，来说两句吧...

相关阅读

相关 GAN英雄联盟双城之战风格迁移

双城之战风格迁移写在前面数据链接地址如何自己制作写在后面写在前面导师课程需要，让我写个有关GAN的项目指导书。由

喜欢ヅ旅行/ 2023年09月29日 08:35/ 0 赞/ 3 阅读

相关图像风格迁移cvpr2020_pystiche：图像风格迁移框架

点击上方“机器学习与生成对抗网络”，关注"星标" 获取有趣、好玩的前沿干货！来源：机器之心编译易于使用的神经风格迁移框架 pystiche。 ![Image 1][

柔光的暖阳◎/ 2023年01月09日 01:22/ 0 赞/ 160 阅读

相关机器学习开源框架系列：Torch：3：图像风格迁移

![这里写图片描述][70] 这篇文章通过一个具体的例子来看一下使用torch可以做的有趣的事情。事前准备 [https://liumiaocn.blog.

冷不防/ 2022年12月22日 13:26/ 0 赞/ 211 阅读

相关 Pytorch:基于卷积神经网络的图片风格迁移

> 之前一直觉得图片风格迁移挺好玩的，最近就花了点时间了解一下，简单记录一下思路。选取的论文是首次提出利用卷积神经网络实现风格迁移的论文论文下载：[Image Sty

「爱情、让人受尽委屈。」/ 2022年11月27日 15:47/ 0 赞/ 218 阅读

相关 Snap: 移动端实时人脸风格迁移

> 点击上方“机器学习与生成对抗网络”，关注星标 > > 获取有趣、好玩的前沿干货！机器之心报道编辑维度未经授权不得转载 > 人脸风格迁移出现新玩法！

Myth丶恋晨/ 2022年11月12日 05:26/ 0 赞/ 284 阅读

相关真二次元！动漫形象风格迁移

点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！文章：机器之心 > 一张输入人脸图像，竟能生成多样化风格的动漫形象。伊利诺伊大学香槟分校的

深藏阁楼爱情的钟/ 2022年10月08日 14:26/ 0 赞/ 404 阅读

相关 TensorFlow练手项目三：使用VGG19迁移学习实现图像风格迁移

使用VGG19迁移学习实现图像风格迁移 -------------------- 2020.3.15 更新：使用Python 3.7 + TensorFlow 2.

女爷i/ 2022年05月29日 13:22/ 0 赞/ 1602 阅读

相关 Python OpenCV 图像风格迁移(模仿名画)

现在很多人都喜欢拍照（自拍）。有限的滤镜和装饰玩多了也会腻，所以就有 APP 提供了模仿名画风格的功能，比如 prisma、versa 等，可以把你的照片变成梵高、毕加索、蒙

冷不防/ 2022年05月08日 19:18/ 0 赞/ 418 阅读

相关风格迁移理论

算法论述风格迁移，就是将两幅画给融合在一起。如果说是把两幅画融合在一起呢？现在假设三幅画: 一幅画表示的是风格画，设为A 一幅画表示的是内容

小鱼儿/ 2022年04月17日 03:00/ 0 赞/ 262 阅读

相关深度学习项目二：图像的风格迁移和图像的快速风格迁移（含数据和所需源码）

图像风格迁移是指，将一幅内容图的内容，和一幅或多幅风格图的风格融合在一起，从而生成一些有意思的图片一：传统的图像风格迁移为了让我们生成

爱被打了一巴掌/ 2022年02月16日 08:56/ 0 赞/ 1194 阅读