反向传播算法详解

Dear 丶 2022-05-27 12:05 261阅读 0赞

## 简介 ##

**BP算法**，称“**误差逆传播算法**”，亦称“**反向传播算法**”，是迄今为止用得最多的多层神经网络学习算法。用BP算法训练的多层前馈神经网络称为“**BP网络**”。

## 算法流程 ##

BP算法采取**基于梯度下降**的策略，以目标的负梯度方向对参数进行调整，其目标是**最小化训练误差**。对每个训练样例，算法执行以下操作：

1.  先将输入示例提供给输入层神经元，然后逐层将信号前递，直至输出层产生结果；
2.  然后计算输出层的误差，再将误差反向传播至隐层神经元；
3.  最后根据隐层神经元的误差对连接权和阈值进行调整。

该迭代过程循环进行，直到达到某个停止条件为止，例如训练误差已达到一个很小的值。西瓜书中伪代码如下(P104)：  
![70][]

## 累积BP算法 ##

我们上面介绍的是“**标准BP算法**”，每次仅针对于一个训练样例更新连接权和阈值，也就是算法的更新规则是基于单个的**E** \_k推导而得，如果类似地推导出基于累积误差最小化的更新原则，就得到了**累积BP算法**。累积BP算法在读取整个训练集一遍后才对参数进行更新，相对于标准BP算法，其参数更新的频率低得多。但在很多任务中，累积误差下降到一定程度后，进一步下降会非常缓慢，这是更适合用标准BP算法。

## 处理过拟合 ##

由于BP算法强大的表示能力，BP网络经常会遇到过拟合的现象，可用两种策略缓解：

*  一种是“**早停**”，讲数据分成训练集和验证集，若训练集误差降低但验证集误差升高，则停止训练；
 *  一种是“**正则化**”，基本思想是在误差目标函数中增加一个描述网络复杂度的正则化项。

## 局部最优 ##

由于BP算法采用的是基于梯度下降的方法，因此可能会陷入到局部最优中，在现实任务中，常常用以下策略来试图“跳出”局部最优，从而接近全局最优解：

*  以多组不同初始化值训练，取其中误差最小的解作为最终解；
 *  使用**“模拟退火”技术**，即在每一步都以一定概率接受比当前解更差的情况；
 *  使用**随机梯度下降**，与标准梯度下降不同，随机梯度下降在计算梯度时加入了随机因素。

*本节内容见书周志华《机器学习》P101-P107*

[70]: /images/20220527/d7a94e625ac54a96b17ad7c441ce325d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，261人围观）

还没有评论，来说两句吧...

相关阅读

相关人工智能初级算法——误差反向传播算法(BP)

误差反向传播算法（BP）误差反向传播算法（BP）一、神经网络基本概念二、神经元模型

分手后的思念是犯贱/ 2023年10月11日 13:44/ 0 赞/ 60 阅读

相关 BP算法，反向传播算法

![1598479-20190918171345249-891582859.png][] ![1598479-20190918171351320-522793576.

﹏ヽ暗。殇╰゛Y/ 2023年08月17日 16:07/ 0 赞/ 151 阅读

相关深度学习之反向传播算法

直观理解反向传播反向传播算法是用来求那个复杂到爆的梯度的。上一集中提到一点，13000维的梯度向量是难以想象的。换个思路，梯度向量每一项的大小，是在说代价函数对每个

红太狼/ 2023年08月17日 15:46/ 0 赞/ 149 阅读

相关手写BP（反向传播）算法

BP算法为深度学习中参数更新的重要角色，一般基于loss对参数的偏导进行更新。一些根据均方误差，每层默认激活函数sigmoid（不同激活函数，则更新公式不一样）假设网络

迈不过友情╰/ 2023年06月02日 09:12/ 0 赞/ 62 阅读

相关 1、反向传播

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候

矫情吗；*/ 2022年10月08日 13:29/ 0 赞/ 310 阅读

相关反向传播（BP）算法理解以及Python实现

全文参考《机器学习》-周志华中的5.3节-误差逆传播算法；整体思路一致，叙述方式有所不同； ![network.jpg][] 使用如上图所示的三层网络来讲述反向传播算法；

待我称王封你为后i/ 2022年10月02日 13:59/ 0 赞/ 248 阅读

相关反向传播算法详解

简介 BP算法，称“误差逆传播算法”，亦称“反向传播算法”，是迄今为止用得最多的多层神经网络学习算法。用BP算法训练的多层前馈神经网络称为“BP网络”。算法流程

Dear 丶/ 2022年05月27日 12:05/ 0 赞/ 262 阅读

相关反向传播算法大揭秘

文章目录反向传播算法大揭秘符号说明反向传播的四个基本公式反向传播算法推导过程对

清疚/ 2022年05月14日 12:41/ 0 赞/ 269 阅读

相关人工神经网络——【BP】反向传播算法证明

第一步：前向传播【注】此BP算法的证明仅限sigmoid激活函数情况。本博文讲道理是没错的，毕竟最后还利用代码还核对了一次理论证明结果。关于更为严谨的BP证明，即严

悠悠/ 2022年05月13日 07:42/ 0 赞/ 337 阅读

相关神经网络初步与反向传播算法

层数表示输入数据的层叫输入层(input layer) 输出结果的层叫输出层(output layer) 除了这两层之外的层都叫隐藏层(hidden

忘是亡心i/ 2022年04月16日 04:13/ 0 赞/ 289 阅读