Batch, Iteration,Epoch概念理解

素颜马尾好姑娘i 2022-12-05 01:37 106阅读 0赞

# 训练过程种Batch, Iteration,Epoch概念理解 #

以Mnist数据集为例，Mnist数据集共有6000张训练样本。假设现在选择 Batch\_Size = 100对模型进行训练。则：

整个样本被分成了：6000/100=600个Batch
    每个Batch的Batch_size=100
    训练一个Batch就是一次Iteration（迭代）
    所有6000张图片都训练一次的过程叫一个Epoch
    每个Epoch中有6000/100=600个Batch

假设训练了50个Epoch，则：

共迭代了50*600=30000次

参考：[深度学习 | 三个概念：Epoch, Batch, Iteration][_ _Epoch_ Batch_ Iteration]

**小结：**  
Batch：数据集划分角度。将整批数据划分成一批一批  
Iteration, Epoch：训练角度。训练时，训练一个batch数据叫一个Iteration；训练完一次整批数据叫一个Epoch。

# 为什么要分成多个Batch呢？ #

### batch概念 ###

batch字面上是批量的意思，在深度学习中指的是计算一次cost需要的输入数据个数。  
![在这里插入图片描述][591432e5d88b4752ab5404624fc8619f.png]在batch可以认为上述cost计算公式中的m。  
如果数据集比较小，可以将全体数据看做一个batch，即把数据集中每个样本都计算loss然后取其平均值当做cost。

### 为什么要分成多个Batch呢？ ###

在训练模型时，如果数据集比较大，一次性将所有样本输入去计算一次cost存储会吃不消，因此会采用一次输入一定量的样本来进行训练。 所以Batch就是指计算一次cost需要的样本个数。将每个样本都计算cost后，求平均值，就是整个Batch的cost。  
遍历全部数据计算损失函数（将整个数据当作一个batch），然后算函数对各个参数的梯度，然后更新参数。这称为Batch gradient descent，**批梯度下降**。这种方法缺点很明显，计算量大，吃内存，不适用与在线学习。  
每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为**随机梯度下降**，stochastic gradient descent。这种方法比较快，但是由于迭代一次仅依靠单一样本，这样很容易在相邻的两次迭代计算的梯度差距非常大，甚至方向相反，因此容易不收敛。  
　　另一种就是将上述两种方法的折中，称为**mini-batch gradient decent**。将数据集分成一定数量的批，梯度不容易跑偏容易收敛，同时减少了一次处理的数据数量，因而计算量也小了很多，速度较快。  
参考：[深度学习batch的理解][batch]

# 为什么训练时要用多个Epoch呢？ #

虽然不同的Epoch用的训练图片相同，但是模型的权重值却是完全不同的。不同代的模型处于代价函数空间上的不同位置。

[_ _Epoch_ Batch_ Iteration]: https://www.jianshu.com/p/22c50ded4cf7
[591432e5d88b4752ab5404624fc8619f.png]: /images/20221123/1c5037d1c7f94c2c8ff3757ee62158c0.png
[batch]: https://blog.csdn.net/weixin_44075878/article/details/84996055