深度学习：算法到实践（二）神经网络基础

系统管理员 2022-11-17 05:23 193阅读 0赞

# 1. 浅层神经网络 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 1]

## 激活函数 ##

为什么要有激活函数？

**没有激活函数相当于矩阵相乘**

*  多层和一层一样
 *  只能拟合线性函数

**激活函数举例：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 2]  
**sigmoid函数**

*  Sigmoid函数饱和使梯度消失。当神经元的激活在接近0或1处时会饱和，在这些区域梯度几乎为0，这就会导致梯度消失，几乎就有没有信号通过神经传回上一层。
 *  Sigmoid函数的输出不是零中心的。因为如果输入神经元的数据总是正数，那么关于\[公式\]的梯度在反向传播的过程中，将会要么全部是正数，要么全部是负数，这将会导致梯度下降权重更新时出现z字型的下降。

**tanh函数**

*  Tanh解决了Sigmoid的输出是不是零中心的问题，但仍然存在饱和问题。
 *  为了防止饱和，现在主流的做法会在激活函数前多做一步batch  
    normalization，尽可能保证每一层网络的输入具有均值较小的、零中心的分布。

**relu函数**

*  相比Sigmoid和tanh，ReLU摒弃了复杂的计算，提高了运算速度。
 *  解决了梯度消失问题，收敛速度快于Sigmoid和tanh函数，但要防范ReLU的梯度爆炸  
    容易得到更好的模型，但也要防止训练中出现模型‘Dead’情况。

## 单层感知器 ##

*  通过非线性激活函数，可以实现简单的逻辑非、与、或操作（线性问题），但却不可以解决异或问题（非线性问题）
 *  但可以通过多层感知器实现异或问题（数字电路），第一层的感知器可以理解为对一个非线性问题进行空间变化，将其转变为一个线性分类问题

## 万有逼近定理 ##

*  如果一个隐层**包含足够多的神经元**，**三层**前反馈神经网络（输入-隐层-输出）能以任意精度逼近任意预定的**连续函数**
 *  双隐层感知器（输入-隐层1-隐层2-输出）逼近**非连续函数**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 3]

## 神经网络每一层的作用 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 4]

## 神经网络的参数学习：误差反向传播 ##

也就是复合函数的链式求导  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 6]

## 梯度和梯度下降 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 7][]  
梯度下降：  
是一种无约束优化方法，参数沿负梯度方向更新可以使函数值下降，但可能会陷入局部极值点，无法找到全局的极值点（与初始值选择有关）。

## 深层神经网络的问题：梯度消失 ##

*  反向传播算法的工作原理是从输出层到输入层，传播误差的梯度。一旦该算法已经计算了网络中每个参数的损失函数的梯度，它就使用这些梯度来用梯度下降步骤来更新每个参数。不幸的是，梯度往往变得越来越小，随着算法进展到较低层。结果，梯度下降更新使得低层连接权重实际上保持不变,并且训练永远不会收敛到良好的解决方案。这被称为**梯度消失**问题。
 *  在某些情况下，可能会发生相反的情况:梯度可能变得越来越大，许多层得到了非常大的权重更新，算法发散。这是**梯度爆炸**的问题,在循环神经网络中最为常见。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 8]

**重要原因：**  
当激活函数梯度会落在饱和区的时候，逐层相乘后，会使损失无法向前传，进而造成在很长时间内，单隐层的神经网络成为主流。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 9]  
**解决办法**

*  使用三层神经网络
 *  预训练，新激活函数

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 10]

# 2. 从神经网络到深度学习 #

## 逐层预训练 (layer-wise pre-training) ##

解决较差局部最小值和梯度消失问题：寻找不错的初始值。

*  每次训练一个三层网络得到中间结果，再利用中间结果训练另一个三层网络，不断累加，得到最终结果
 *  经过逐层预训练得到的解会相对收敛，训练会更快
 *  最终一层加入监督信息来微调

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 12]

## 自编码器 ##

是一类在半监督学习和非监督学习中使用的人工神经网络（Artificial Neural Networks, ANNs），其功能是通过将输入信息作为学习目标，对输入信息进行表征学习（representation learning）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 13]

## 受限玻耳兹曼机 ##

受限波尔兹曼机(Restricted Boltzmann Machines，RBM)是一类具有两层结构、对称连接且无自反馈的随机神经网络模型，层间全连接，层内无连接  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 14]

## 自编码器 VS 受限玻耳兹曼机 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 15]

## 自编码器变种 ##

*  正则自编码器 （Regularized AE）
 *  稀疏自编码器 （Sparse AE）
 *  去噪自编码器 ( Denoising AE )
 *  变分自编码器 （Variational AE）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70]: /images/20221022/6839bf50c6e44afb8aa530b5af098531.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 1]: /images/20221022/d10cefb4541b4f6b9fdd42b80501e6ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 2]: /images/20221022/dcc0a6aa261d4f8eadd248c1657beb8a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 3]: /images/20221022/0eefa73c2128445492cf5458cd29aaeb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 4]: /images/20221022/775edef8604e435fbaf11698d70fb9b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 5]: /images/20221022/c42c4e57ad0b4db3bfb3409c0c9c0656.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 6]: /images/20221022/dee36bf813db45d4b653be2fa74ea521.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 7]: /images/20221022/b8595b4ed48648d298c9d073f1145768.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 8]: /images/20221022/1c3d2c00e68c481bb8957f4fb3d5bf4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 9]: /images/20221022/fe0d096d55ee4ddf944acb07075e08c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 10]: /images/20221022/b93a24c7dbf5408b8ec6a85134ff0668.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 11]: /images/20221022/c9445fe1415248feb6422bc684c914fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 12]: /images/20221022/f0c81d406523404c8e1ef88cff91d33f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 13]: /images/20221022/15532e697822402aa9808d885e044472.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 14]: /images/20221022/fd6083ad9e474b889d9a4f33e27c45b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FzMTc4MDkyNTk3MTU_size_16_color_FFFFFF_t_70 15]: /images/20221022/b8ab2328a39f4acba2b5921e2f64c123.png