【吴恩达深度学习笔记】4.4特殊应用：人脸识别和神经风格转换Special application:Face recognition&Neural style transfer

蔚落 2022-11-20 01:51 45阅读 0赞

# 第四门课 卷积神经网络（Convolutional Neural Networks） #

## 4.1什么是人脸识别（What is face recognition?） ##

人脸验证（**face verification**）是一对一问题，而人脸识别（**face recognition**）是一对多问题，所以人脸识别问题更复杂。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center]

## 4.2One-shot学习（One-shot learning） ##

在一次学习问题中，只能通过一个样本进行学习，以能够认出同一个人。大多数人脸识别系统都需要解决这个问题，因为在数据库中每个雇员或者组员可能都只有一张照片。要做到一次学习且能有更好的效果，需要学习**Similarity**函数： d ( i m g 1 , i m g 2 ) = d e g r e e   o f   d i f f e r e n c e   b e t w e e n   i m a g e s d(img1,img2)=degree\\space of \\space difference \\space between \\space images d(img1,img2)=degree of difference between images

函数用 d d d来表示，以两张图片作为输入，输出这两张图片的差异值。当这两张图片的差异值小于某个阈值 τ \\tau τ，它是一个超参数，那么这时预测这两张图片是同一个人，如果差异值大于 τ \\tau τ，预测这是不同的两个人，这就是解决人脸验证问题的一个可行办法。

![在这里插入图片描述][20201122210318856.png_pic_center]

## 4.3Siamese网络（Siamese network） ##

对于两个不同的输入，运行相同的卷积神经网络，然后比较它们，这一般叫做**Siamese**网络架构。两张不同的图片经过同一卷积神经网络处理后得到编码 f ( x ( 1 ) ) f(x^\{(1)\}) f(x(1))和 f ( x ( 2 ) ) f(x^\{(2)\}) f(x(2))，定义距离 d d d为两编码之差的范数 d ( x ( 1 ) , x ( 2 ) ) = ∣ ∣ f ( x ( 1 ) ) − f ( x ( 2 ) ) ∣ ∣ 2 2 d(x^\{(1)\},x^\{(2)\})=||f(x^\{(1)\})-f(x^\{(2)\})||^2\_2 d(x(1),x(2))=∣∣f(x(1))−f(x(2))∣∣22

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 1]  
神经网络的参数定义了一个编码函数 f ( x ( i ) ) f(x^\{(i)\}) f(x(i))，如果给定输入图像 x ( i ) x^\{(i)\} x(i)，网络会输出 x ( i ) x^\{(i)\} x(i)的128维的编码。要做的就是学习参数，使得如果两个图片 x ( i ) x^\{(i)\} x(i)和 x ( j ) x^\{(j)\} x(j)是同一个人，那么得到的两个编码的距离就小。如果是不同的人，那么会想让它们之间的编码距离大一点。如果改变这个网络所有层的参数，会得到不同的编码结果，要做的就是用反向传播来改变这些所有的参数，以确保满足这些条件。

## 4.4三元组损失（Triplet loss） ##

要想通过学习神经网络的参数来得到优质的人脸图片编码，方法之一就是定义**三元组损失函数**然后应用梯度下降。通过查看一个 Anchor 图片，想让Anchor图片和Positive图片（Positive意味着是同一个人）的距离很接近，想让Anchor图片与Negative图片（Negative意味着是非同一个人）的距离更远一点。把**Anchor**图片、**Positive**图片和**Negative**图片简写成 A 、 P 、 N A、P、N A、P、N，令 d ( A , P ) = ∣ ∣ f ( A ) − f ( P ) ∣ ∣ 2 d(A,P)=||f(A)-f(P)||^2 d(A,P)=∣∣f(A)−f(P)∣∣2， d ( A , N ) = ∣ ∣ f ( A ) − f ( N ) ∣ ∣ 2 d(A,N)=||f(A)-f(N)||^2 d(A,N)=∣∣f(A)−f(N)∣∣2，有： ∣ ∣ f ( A ) − f ( P ) ∣ ∣ 2 − ∣ ∣ f ( A ) − f ( N ) ∣ ∣ 2 + α ≤ 0 ||f(A)-f(P)||^2-||f(A)-f(N)||^2+\\alpha \\leq 0 ∣∣f(A)−f(P)∣∣2−∣∣f(A)−f(N)∣∣2\+α≤0

其中 α \\alpha α是超参数，也叫间隔（**margin**），它可以阻值网络输出无用的结果。损失函数： L ( A , P , N ) = m a x ( ∣ ∣ f ( A ) − f ( P ) ∣ ∣ 2 − ∣ ∣ f ( A ) − f ( N ) ∣ ∣ 2 + α , 0 ) L(A,P,N)=max(||f(A)-f(P)||^2-||f(A)-f(N)||^2+\\alpha,0) L(A,P,N)=max(∣∣f(A)−f(P)∣∣2−∣∣f(A)−f(N)∣∣2\+α,0)

整个网络的代价函数是训练集中单个三元组损失的总和： J = ∑ i = 1 m L ( A ( i ) , P ( i ) , N ( i ) ) J=\\sum^m\_\{i=1\}L(A^\{(i)\},P^\{(i)\},N^\{(i)\}) J=i=1∑mL(A(i),P(i),N(i))

对于训练集需要确保有同一个人的多个图片，至少是训练集里的一部分人，这样就有成对的Anchor和Positive图片了。训练完这个系统之后就可以应用到一次学习问题上了。为了构建一个数据集，需要尽可能选择难训练的三元组 A A A、 P P P和 N N N。难训练的三元组就是 d ( A , P ) ≈ d ( A , N ) d(A,P)\\approx d(A,N) d(A,P)≈d(A,N)，这样学习算法会竭尽全力使右边式子变大，或者使左边式子变小，这样左右两边至少有一个的间隔 α \\alpha α。选择这样的三元组还可以增加学习算法的计算效率，如果随机选择这些三元组，其中有太多会很简单，梯度算法不会有什么效果。

**参考文献**：Florian Schroff, Dmitry Kalenichenko, James Philbin (2015).  
[FaceNet: A Unified Embedding forFace Recognition and Clustering][FaceNet_ A Unified Embedding forFace Recognition and Clustering]

## 4.5人脸验证与二分类（Face verification and binary classfication） ##

将人脸识别当成一个二分类问题可以使用**Siamese**网络。把人脸验证当作一个监督学习，创建一个只有成对图片的训练集，不是三个一组，目标标签是1或0表示一对图片是否是一个人。利用不同的成对图片，使用反向传播算法去训练Siamese神经网络。

y ^ = σ ( ∑ k = 1 128 w i ∣ f ( x ( i ) ) k − f ( x ( j ) ) k ∣ + b ) \\hat y=\\sigma(\\sum^\{128\}\_\{k=1\}w\_i|f(x^\{(i)\})\_k-f(x^\{(j)\})\_k|+b) y^=σ(k=1∑128wi∣f(x(i))k−f(x(j))k∣\+b)

f ( x ( i ) ) k f(x^\{(i)\})\_k f(x(i))k表示图片 x ( i ) x^\{(i)\} x(i)的编码，下标 k k k表示选择这个向量中的第 k k k个元素。把128个元素当作特征放入逻辑回归中，可以增加参数 w i w\_i wi和 b b b，用来预测两张图片是否是一个人。两个编码取元素差的绝对值这部分还有其他不同的形式比如 χ 2 \\chi^2 χ2公式（ χ \\chi χ平方相似度）： ( f ( x ( i ) ) k − f ( x ( j ) ) k ) 2 f ( x ( i ) ) k + f ( x ( j ) ) k \\frac\{(f(x^\{(i)\})\_k-f(x^\{(j)\})\_k)^2\}\{f(x^\{(i)\})\_k+f(x^\{(j)\})\_k\} f(x(i))k\+f(x(j))k(f(x(i))k−f(x(j))k)2

**参考文献**： Yaniv Taigman, Ming Yang, Marc’Aurelio Ranzato, Lior Wolf (2014). [DeepFace:Closing the gap to human-level performance in face verification][DeepFace_Closing the gap to human-level performance in face verification]

## 4.6什么是神经风格迁移（What is neural style tranfer?） ##

卷积神经网络最有趣的应用是神经风格迁移，使用 C C C来表示内容图像， S S S表示风格图像， G G G表示生成的图像。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 2]

## 4.7CNN特征可视化（What are deep ConvNets learning?） ##

![在这里插入图片描述][20201123200647862.png_pic_center]  
第一层的隐藏单元通常会找一些简单的特征，比如说边缘或者颜色阴影。层次越深会检测到更复杂的形状和模式。

**参考文献**：Zeiler M D, Fergus R.Visualizing and Understanding Convolutional Networks\[J\]. 2013, 8689:818-833.

## 4.8代价函数（Cost function） ##

通过一个内容图像 C C C和一个风格图片 S S S生成一个新图片 G G G。为了实现神经风格迁移，定义一个关于 G G G的代价函数 J J J用来评判某个生成图像的好坏，使用梯度下降法去最小化 J ( G ) J(G) J(G)，以便于生成这个图像。把代价函数定义为两个部分：第一部分为内容代价，是一个关于内容图片和生成图片的函数，用来度量生成图片的内容与内容图片的内容有多相似；第二部分为风格代价函数，用来度量图片 G G G的风格和图片 S S S的风格的相似度。用两个超参数 α \\alpha α和 β \\beta β来确定内容代价和风格代价两者之间的权重。

J ( G ) = α J c o n t e n t ( C , G ) + β J s t y l e ( S , G ) J(G)=\\alpha J\_\{content\}(C,G)+\\beta J\_\{style\}(S,G) J(G)=αJcontent(C,G)\+βJstyle(S,G)

对于代价函数 J ( G ) J(G) J(G)，为了生成一个新图像，需要随机初始化生成图像 G G G，使用梯度下降的方法将 J ( G ) J(G) J(G)最小化，更新 G : = G − ∂ ∂ G J ( G ) G:=G-\\frac\{\\partial\}\{\\partial G\}J(G) G:=G−∂G∂J(G)。在这个步骤中，实际上更新的是图像的像素值，比如RGB通道的图片。

**参考文献**：Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, (2015). A Neural Algorithm of Artistic Style ([链接][Link 1])

## 4.9内容代价函数（Content cost function） ##

用隐含层 l l l来计算内容代价，层 l l l在网络中既不会选的太浅也不会选的太深，然后用一个预训练的卷积模型，可以是VGG网络或其他网络，需要衡量一个内容图片和一个生成图片在内容上的相似度， a \[ l \] \[ C \] a^\{\[l\]\[C\]\} a\[l\]\[C\]和 a \[ l \] \[ G \] a^\{\[l\]\[G\]\} a\[l\]\[G\]代表这两个图片 C C C和 G G G的 l l l层的激活函数值。如果这两个激活值相似就意味着两个图片的内容相似。定义两激活值的不同或相似程度： J c o n t e n t ( C , G ) = 1 2 ∣ ∣ a \[ l \] \[ C \] − a \[ l \] \[ G \] ∣ ∣ 2 J\_\{content(C,G)\}=\\frac\{1\}\{2\}||a^\{\[l\]\[C\]\}-a^\{\[l\]\[G\]\}||^2 Jcontent(C,G)=21∣∣a\[l\]\[C\]−a\[l\]\[G\]∣∣2

注意这里用的符号都是展成向量形式的。

## 4.10风格代价函数（Style cost function） ##

在通道之间使用相关系数来描述通道的风格，相关系数提供了一种测量不同特征的方法，比如垂直纹理、橙色或其他特征去测量它们在图片中的各个位置同时出现或不同时出现的频率，这样就能测量生成的图像的风格与输入的风格图像的相似程度。设 a i , j , k \[ l \] a^\{\[l\]\}\_\{i,j,k\} ai,j,k\[l\]是隐藏层 ( i , j , k ) (i,j,k) (i,j,k)位置的激活项， i 、 j 、 k i、j、k i、j、k表示该位置的高度、宽度以及对应的通道数。矩阵 G \[ l \] \[ S \] G^\{\[l\]\[S\]\} G\[l\]\[S\]和矩阵 G \[ l \] \[ G \] G^\{\[l\]\[G\]\} G\[l\]\[G\]是 n c × n c n\_c×n\_c nc×nc维的。输入的风格图像和生成图像的风格矩阵为： G k k ′ \[ l \] \[ S \] = ∑ i = 1 n H \[ l \] ∑ j = 1 n W \[ l \] a i , j , k \[ l \] \[ S \] a i , j , k ′ \[ l \] \[ S \] G^\{\[l\]\[S\]\}\_\{kk'\}=\\sum^\{n^\{\[l\]\}\_H\}\_\{i=1\}\\sum^\{n^\{\[l\]\}\_W\}\_\{j=1\}a^\{\[l\]\[S\]\}\_\{i,j,k\}a^\{\[l\]\[S\]\}\_\{i,j,k'\} Gkk′\[l\]\[S\]=i=1∑nH\[l\]j=1∑nW\[l\]ai,j,k\[l\]\[S\]ai,j,k′\[l\]\[S\]

G k k ′ \[ l \] \[ G \] = ∑ i = 1 n H \[ l \] ∑ j = 1 n W \[ l \] a i , j , k \[ l \] \[ G \] a i , j , k ′ \[ l \] \[ G \] G^\{\[l\]\[G\]\}\_\{kk'\}=\\sum^\{n^\{\[l\]\}\_H\}\_\{i=1\}\\sum^\{n^\{\[l\]\}\_W\}\_\{j=1\}a^\{\[l\]\[G\]\}\_\{i,j,k\}a^\{\[l\]\[G\]\}\_\{i,j,k'\} Gkk′\[l\]\[G\]=i=1∑nH\[l\]j=1∑nW\[l\]ai,j,k\[l\]\[G\]ai,j,k′\[l\]\[G\]

用 G G G来代表风格矩阵，是因为在线性代数中这种矩阵有时也叫**Gram**矩阵。 G k k ′ \[ l \] G^\{\[l\]\}\_\{kk'\} Gkk′\[l\]用来测量 k k k通道与 k ′ k' k′通道中的激活项之间的相关系数， k k k和 k ′ k' k′在1到 n c n\_c nc之间取值， n c n\_c nc是 l l l层中通道的总数量。这个公式是一种非标准的互协方差，因为没有减去均值而只是把这些元素直接相乘。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 4]  
图示包括两个矩阵间一个基本的**Frobenius**范数，也就是图像和图像之间的范数再乘上一个归一化常数，不过这不是很重要。实际上对各层都使用风格代价函数，会让结果变得更好。

## 4.11一维到三维推广（1D and 3D generalizations of models） ##

卷积网络同样可以被用于1D数据，可以在不同的位置使用相同的特征检测器。比如为了区分**EKG**信号中的心跳的差异，可以在不同的时间轴位置使用同样的特征来检测心跳。

![在这里插入图片描述][2020112320522966.png_pic_center]  
3D数据也可以使用3D卷积网络学习，这些过滤器通过3D数据进行特征检测。CT医疗扫描是3D数据的一个实例，另一个数据处理的例子是将电影中随时间变化的不同视频切片看作是3D数据，可以将这个技术用于检测动作及人物行为。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 5]

## 参考文献 ##

*  Florian Schroff, Dmitry Kalenichenko, James Philbin (2015). [FaceNet: A Unified Embedding for Face Recognition and Clustering][FaceNet_ A Unified Embedding forFace Recognition and Clustering]
 *  Yaniv Taigman, Ming Yang, Marc’Aurelio Ranzato, Lior Wolf (2014). [DeepFace: Closing the gap to human-level performance in face verification][DeepFace_Closing the gap to human-level performance in face verification]
 *  The pretrained model we use is inspired by Victor Sy Wang’s implementation and was loaded using his code. [链接][Link 2]
 *  Our implementation also took a lot of inspiration from the official FaceNet github repository.[链接][Link 3]
 *  Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, (2015). A Neural Algorithm of Artistic Style [链接][Link 1]
 *  Harish Narayanan, Convolutional neural networks for artistic style transfer. [链接][Link 4]
 *  Log0, TensorFlow Implementation of “A Neural Algorithm of Artistic Style”.[链接][Link 5]
 *  Karen Simonyan and Andrew Zisserman (2015). Very deep convolutional networks for large-scale image recognition.[链接][Link 6]
 *  MatConvNet. [链接][Link 7]

## 错题 ##

> 在人脸验证中函数 d ( i m g 1 , i m g 2 ) d(img1,img2) d(img1,img2)起的作用：  
> 1.为了解决一次学习的问题，只需要给出一个人的图片就可以让网络认识这个人。  
> 2.Softmax 输出单元在这里已经被去掉了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/b8994bc7b3cd4ab58d96761aa13b2e43.png
[20201122210318856.png_pic_center]: /images/20221120/23a6407e7d4a4649a898788768f86289.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/0e20b235b52e47588f1cc17b89914afa.png
[FaceNet_ A Unified Embedding forFace Recognition and Clustering]: https://arxiv.org/pdf/1503.03832.pdf
[DeepFace_Closing the gap to human-level performance in face verification]: https://research.fb.com/wp-content/uploads/2016/11/deepface-closing-the-gap-to-human-level-performance-in-face-verification.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201123200322682.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8=,size_16,color_FFFFFF,t_70#pic_center
[20201123200647862.png_pic_center]: https://img-blog.csdnimg.cn/20201123200647862.png#pic_center
[Link 1]: https://arxiv.org/abs/1508.06576
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20201123204855824.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20201123204948645.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8=,size_16,color_FFFFFF,t_70#pic_center
[2020112320522966.png_pic_center]: https://img-blog.csdnimg.cn/2020112320522966.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20201123205542242.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tlaXZlbl8=,size_16,color_FFFFFF,t_70#pic_center
[Link 2]: https://github.com/iwantooxxoox/Keras-OpenFace
[Link 3]: https://github.com/davidsandberg/facenet
[Link 4]: https://harishnarayanan.org/writing/artistic-style-transfer/
[Link 5]: http://www.chioka.in/tensorflow-implementation-neural-algorithm-of-artistic-style
[Link 6]: https://arxiv.org/pdf/1409.1556.pdf
[Link 7]: http://www.vlfeat.org/matconvnet/pretrained/