深度学习笔记--多层感知器以及BP算法

素颜马尾好姑娘i 2022-03-26 05:56 472阅读 0赞

# 简介 #

多层感知器，是指包含1个或多个隐层的前馈神经网络。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70]

前馈神经网络的特点：

1.  第0层为输入层，最后一层为输出层，中间层为隐层。
2.  整个网络无反馈，信号从输入层向输出层单向传播，整个网络为有向无环图。
3.  激活函数多使用连续非线性函数，如logistic函数。 3.激活函数多使用连续非线性函数，如logistic函数。
4.  可看成多层logistic回归模型的组合。
5.  具有解决复杂模式分类的能力，解决简单感知不能解决的线性不可分问题。

其可以解决单层感知器不能解决异或的问题(线性不可分问题)，可以用来作多元分类问题，例如手写数字识别。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 1]

# 反向传播算法 #

反向传播算法是在Rumelhart 以及Hinton 在1986年在nature上发表出的一篇文章介绍。在该文章发表之前，神经网络又开始焕发青春(神经网络研究寒冬)，原因是该算法可以很好的解决神经网络的模型参数训练问题。以下是该文章：  
Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors\[J\]. nature, 1986, 323(6088): 533.  
以下是我个人在学习李宏毅(Hung-yi Lee)教授课程的内容，其课程讲的反向传播算法很生成，也很容易理解。以下是课程的地址：[http://speech.ee.ntu.edu.tw/~tlkagk/courses\_MLSD15\_2.html][http_speech.ee.ntu.edu.tw_tlkagk_courses_MLSD15_2.html]  
同时，李教授在YouTobe上也讲解了很多其他深度学习算法的课程，都非常不错，有兴趣的读者可以观看：[https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ][https_www.youtube.com_channel_UC2ggjtuuWvxrHHHiaDH1dlQ]

学习神经网络，我们知道常用的**梯度下降算法**，首先需要定义**损失函数**。如下图所示，我们有多个样本，我们定义所有样本的总损失函数：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 2]  
这里的话，只需要算一个样本的梯度 C r ( θ ) C^\{r\}\\left ( \\theta \\right ) Cr(θ)就行了，将所有样本的进行加和就是所有的梯度了。  
跟对某一个样本，来计算梯度 ▽ C r ( θ ) \\triangledown C^\{r\}\\left ( \\theta \\right ) ▽Cr(θ)。  
针对网络中的某层的权重，计算偏微分，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 3]  
在上图中，用到了微分计算中的链式法则。其中，上图中的损失函数对权重的偏微分，可以分成两部分。**针对第一部分，比较容易求，求得的结果**如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 4]  
针对第二部分，求起来还是很麻烦的，这里采用的是反向计算【反向传播】，从最后一层向隐层计算。如下图所示，**核心包含两个部分，第一部分是怎么计算最后一层的偏微分，第二部分是怎么求找 l l l层与 l + 1 l+1 l\+1层偏微分的关系**。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 5]  
**下面来计算** δ L \\delta ^\{L\} δL，如下图所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 7]  
计算\*\* δ L \\delta ^\{L\} δL使用的也是链式法则，计算起来很简单。

**下面依旧利用链式法则寻找** δ l \\delta ^\{l\} δl与 δ l + 1 \\delta ^\{l+1\} δl\+1**的关系**，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 8]  
上图中的加和相当于是对 l + 1 l+1 l\+1层的所有节点进行计算，求出具体的值如下图所示：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 9]  
这样就能获得每个节点的偏微分，从下图便能够看出反向的概念，即只要知道下一层的值，便能计算该层的值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 10]  
转化成矩阵相乘的结果，便可以计算得到 δ l \\delta ^\{l\} δl与 δ l + 1 \\delta ^\{l+1\} δl\+1。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 11]

# 参考 #

[https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ][https_www.youtube.com_channel_UC2ggjtuuWvxrHHHiaDH1dlQ]  
[http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS\_2015\_2/Lecture/DNN backprop.ecm.mp4/index.html][http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS_2015_2_Lecture_DNN backprop.ecm.mp4_index.html]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70]: /images/20220326/c084ae4b11d8406fb5940bd6a5c0fdad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 1]: /images/20220326/66956aa16b844375b3ae9b2d3cf3d6ea.png
[http_speech.ee.ntu.edu.tw_tlkagk_courses_MLSD15_2.html]: http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html
[https_www.youtube.com_channel_UC2ggjtuuWvxrHHHiaDH1dlQ]: https://www.youtube.com/channel/UC2ggjtuuWvxrHHHiaDH1dlQ
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 2]: /images/20220326/a8c585209d094323a5ddf2e8ee2eaaf3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 3]: /images/20220326/89d4d9aaa4e44fada3fa9ec7eb088b86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 4]: /images/20220326/d4034d428f7d453ca83116bbaa79331a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 5]: /images/20220326/e43f9a93de7c4a8d9701d66210f6cf05.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 6]: /images/20220326/6581f702a002417c9b4193a605fb7be0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 7]: /images/20220326/cd9ea8526a794aad959ba2b784b0671a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 8]: /images/20220326/fbae615076a1460c84c8d3a5154468f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 9]: /images/20220326/ade47887f66e4e75b5da59e6e8e7e37c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 10]: /images/20220326/cc6e723162dd4056b6349a6c91ab3b32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3F5MjAxMTU1NDk_size_16_color_FFFFFF_t_70 11]: /images/20220326/dc2c4ea6fe5b4dddbaaeeda13d02729f.png
[http_speech.ee.ntu.edu.tw_tlkagk_courses_MLDS_2015_2_Lecture_DNN backprop.ecm.mp4_index.html]: http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN%20backprop.ecm.mp4/index.html