03人工智能-反向传播

- 日理万妓 2024-03-17 20:04 103阅读 0赞

前面阐述过，在设计好一个神经网络后，参数的数量可能会达到百万级别，利用梯度下降去更新参数计算复杂，算力不足，因此需要一种有效计算梯度的方法，这种方法就是辛顿提出的反向传播（简称BP），BP在调整参数时候，不用像以前一样调参，可以先调最后一层，调完最后一层往前调，最后调到最前面一层，这种算法比以前算法复杂度要低得多，使用BP能够使梯度计算时效率更快。

反向传播算法是“误差反向传播”的简称，即BP算法。

**BP算法的学习过程**由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过逐层处理并传向输出层。如果在输出层得不到期望的输出值，则通过构造输出值与真实值的损失函数作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯度，作为修改权值的依据，网络的学习在权值修改过程中完成。输出值与真实值的误差达到所期望值时，神经网络学习结束。

### 1、创建神经网络模型 ###

![d2e8ca4b761343cea7c61a145d569d54.jpeg][]

**模型说明**

*  模型共三层
 *  第一层输入层，包含两个神经元i1,i2和截距b1  
    第二层隐含层，包含两个神经元h1,h2和截距b2  
    第三层输出层，包含两个神经元o1,o2  
    wi是层与层之间连接的权重  
    激活函数默认为sigmoid函数

### 执行正向传播 ###

**权重赋值**

*  输入数据：i1 =0.05，i2 =0.10;  
    输出数据：o1 =0.01，o2 =0.99;  
    初始权重：w1 =0.15，w2 =0.20，w3 =0.25，w4 =0.30，  
    w5 =0.40， w6 =0.45， w7 =0.50， w8 =0.55  
    目标：给出输入数据 i1 =0.05 i2 =0.10，使输结果出尽可能与原始输出o1 =0.01 o2 =0.99 接近

![ae272125a8b6408195b05439298b493b.png][]

**前向传播，模拟计算**

![911b097c98e94d1fb9442d7db8315077.png][]

通过前向传播得到输出值为\[0.75136079 , 0.772928465\]，与实际值\[0.01 , 0.99\]相差还很远，现在对误差进行反向传播，更新权值，重新计算输出。

### 执行反向传播 ###

**见：**[反向传播（back propagation） - 知乎][back propagation_ -]

[d2e8ca4b761343cea7c61a145d569d54.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/06c98a8506024aadaae2882e02a33565.png
[ae272125a8b6408195b05439298b493b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/04a472f1905744e7875dd5a524799889.png
[911b097c98e94d1fb9442d7db8315077.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b8fd30bfce9b4390bc3ff9a68b0dc272.png
[back propagation_ -]: https://zhuanlan.zhihu.com/p/261710847