掌握神经网络的法宝（二）

川长思鸟来 2023-09-29 09:29 15阅读 0赞

**目录**

一. 神经网络的最优化

二. 误差反向传播法

总结

系列文章目录

--------------------

## 一. 神经网络的最优化 ##

**1.1 神经网络的参数和变量**

**1）参数和变量**

*  像权重和偏置这种确定数学模型的常数称为模型的**参数；**
 *  数字模型中值可以根据数据而变化的量称为**变量；**
 *  神经网络中用到的参数和变量数量庞大；
    
    ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16][]

**2）神经网络中的变量名和参数名**

*  首先，我们对层进行编号，最左边的输入层为层1，隐藏层则一次递增（层2，层3······）最右边的输出层诶层l（l为last的意思）：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_18_color_FFFFFF_t_70_g_se_x_16][]

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

*  **输出层的相关变量名**

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

*   **隐藏层、输出层的相关的参数名与变量名**

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

*   **变量值的表示方法**

![66be6e311c084271a2e27540075e58f1.png][]为变量，它们的值根据学习数据的学习实例而变化，若具体给出了学习数据的一个图像，则![06c664f2acd54b13a3d9fbd460d514c0.png][]就变成了数值，而不是变量；

*  **神经单元符号和变量名**

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

**3）神经网络的变量的关系式**

*  **输入层的关系式**

我们将变量名的![5cbdadceea4a4f06ac7006e5a61b6828.png][]定义为层l的第j个神经单元的输出值，由于输入层为层1（即l=1），所以前面的Xi可以如下表示：![c85d33cabc6e4ce18b9ba24414d074eb.png][]

*   **隐藏层的关系式**
    
    ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 5][]
 *   **输出层的关系式**
    
    ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

**4）神经网络的学习数据和正解**

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

通过这样的方式来定义正解，就可以像下面这样表示神经网络算出的预测值和正解的平方误差：![752620e721fe4139abd04e2113a3da03.png][]

**5）神经网络的代价函数**

*   **表示模型准确度的代价函数**

通过调整参数（权重和偏置)，使模型的输出符合实际的数据（在神经网络中就是学习数据），从而确定数学模型，这个过程在数学上称为**最优化，**在神经网络的世界称为**学习；**

在数学上，用模型参数表示的总体误差的函数称为**代价函数**，此外也可以称为损失函数、目的函数、误差函数等；

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 8][]

*   **最优化的基础：代价函数的最小化**

确定神经网络的权重和偏置，使得从神经网络得出的代价函数 ![ad4b7de446be4570a71c2c769d899ec1.png][]达到最小

*   **参数的个数和数据的规模**

以一个12个输入层，3个隐藏层，2个输出层的神经网络为例：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 9][]

根据上表，参数的总数 =（12x3+3）+（3x2+2）= 47

而我们要确定模型，就必须准备好规模大于擦书个数的数据，所以在这次学习用的图像至少需要47张。

## 二. 误差反向传播法 ##

*  **梯度下降法**

根据我们上一章学到的梯度下降法可知，梯度下降法是先求导后求和，梯度分量是一个一个学习实例的简单的和，即代价函数 ![C\_\{T\}][C_T]的偏导数是从各个学习实例得到的偏导数的和：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 10][]

*   **神经单元误差**![\\delta \_\{j\}^\{l\}][delta _j_l]

误差反向传播法的特点是将繁杂的导数计算替换为数列的递推关系式，而提供这递推关系式的就是名为**神经单元误差**（error）的变量![\\delta \_\{j\}^\{l\}][delta _j_l]。利用平方误差C，其定义如下所示：

![66b70432289a4d21827b8ef4f24601e4.png][]

该变量称为第l层第j个神经单元的误差。

用![\\delta \_\{j\}^\{l\}][delta _j_l]表示平方误差C关于权重、偏置的偏导数：![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_14_color_FFFFFF_t_70_g_se_x_16][]

*  ![\\delta \_\{j\}^\{l\}][delta _j_l]**和**![\\delta \_\{j\}^\{l+1\}][delta _j_l_1]**的关系**

如果神经误差![\\delta \_\{j\}^\{l\}][delta _j_l]能求出来，那么梯度下降法的计算所需的平方误差式的偏导数也能求出来：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 11][]

可以得出：![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_14_color_FFFFFF_t_70_g_se_x_16 1][]

*   **通过递推关系式越过导数计算**

误差反向传播法以梯度下降法为基础，它的特点是将繁杂的导数计算替换为数列的递推关系式：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 12][]

通过推广可以的出层l与下一层l+1的一般关系式：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 13][]

*  **中间层的** ![\\delta \_\{j\}^\{l\}][delta _j_l]**：不求导也可以得到值**

只要求出输出层的神经单元误差，其他的神经单元误差就不需要进行偏导数计算；

关系式一般是按照层编号从高到低的方向来确定值的，这与之前考察过的数列的递推关系式的想法相反，这就是反向传播中“反向”的由来：

![d30020c897d5439faa653d188ee233ac.png][]

--------------------

## 总结 ##

以上就是今天要讲的内容，本文介绍了神经网络所需的数学方法，神经网络的最优化和误差反向传播法的相关知识。

欢迎大家留言一起讨论问题~~~

--------------------

## 系列文章目录 ##

[第一章：会思考的机器你造嘛——AI技术][AI]

[第二章：机器学习的概率统计模型（附代码）][Link 1]

[第三章：深度学习敲门砖——神经网络 ][Link 2]

[第四章：掌握神经网络的法宝（一）][Link 3]

[第五章：掌握神经网络的法宝（二）][Link 4]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/e16114609de944b0af83e4ca099175c4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_18_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/15801f7e45a646a8b8b5883ec5930667.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_18,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/83134a5e9767497da5933c418bf2a520.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/54ea21c119c1480cacc984a7b61562b8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/43ac35da3a374108b2023f2f3be88e58.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[66be6e311c084271a2e27540075e58f1.png]: https://img-blog.csdnimg.cn/66be6e311c084271a2e27540075e58f1.png
[06c664f2acd54b13a3d9fbd460d514c0.png]: https://img-blog.csdnimg.cn/06c664f2acd54b13a3d9fbd460d514c0.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/720ebab675c84e3b9d2ec7acafd31828.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[5cbdadceea4a4f06ac7006e5a61b6828.png]: https://img-blog.csdnimg.cn/5cbdadceea4a4f06ac7006e5a61b6828.png
[c85d33cabc6e4ce18b9ba24414d074eb.png]: https://img-blog.csdnimg.cn/c85d33cabc6e4ce18b9ba24414d074eb.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/86c1cf715e934242ac55132fe97d1d36.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/639a5a27e0ed4349a99d5ec755706eda.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/24733e0ddd7243efa7aa9dcc059b171a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[752620e721fe4139abd04e2113a3da03.png]: https://img-blog.csdnimg.cn/752620e721fe4139abd04e2113a3da03.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/d94ea1e8c65c438fb12ce065912fb5cc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[ad4b7de446be4570a71c2c769d899ec1.png]: https://img-blog.csdnimg.cn/ad4b7de446be4570a71c2c769d899ec1.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/aa8b461f1103439d887bc7ff4741bc1c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[C_T]: https://latex.csdn.net/eq?C_%7BT%7D
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 10]: https://img-blog.csdnimg.cn/89b22a1618ce4696add3b83673c2713e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[delta _j_l]: https://latex.csdn.net/eq?%5Cdelta%20_%7Bj%7D%5E%7Bl%7D
[66b70432289a4d21827b8ef4f24601e4.png]: https://img-blog.csdnimg.cn/66b70432289a4d21827b8ef4f24601e4.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_14_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/08834782516049bb90999251577ce981.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_14,color_FFFFFF,t_70,g_se,x_16
[delta _j_l_1]: https://latex.csdn.net/eq?%5Cdelta%20_%7Bj%7D%5E%7Bl&plus;1%7D
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/2bd9d002ec884c2aaca469e11362811d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_14_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/45abc5b7c08a499c9983dc0c4cb37505.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_14,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 12]: https://img-blog.csdnimg.cn/306c0db5eb2940f6a73610736afbd1a5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 13]: https://img-blog.csdnimg.cn/15c5b3c4da8647618aca1d5f38799b79.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[d30020c897d5439faa653d188ee233ac.png]: https://img-blog.csdnimg.cn/d30020c897d5439faa653d188ee233ac.png
[AI]: https://blog.csdn.net/weixin_53919192/article/details/123970495
[Link 1]: https://blog.csdn.net/weixin_53919192/article/details/124026891?spm=1001.2014.3001.5502
[Link 2]: https://blog.csdn.net/weixin_53919192/article/details/123929732?spm=1001.2014.3001.5502
[Link 3]: https://blog.csdn.net/weixin_53919192/article/details/124003111
[Link 4]: https://blog.csdn.net/weixin_53919192/article/details/124067880