深度学习笔记_术语/缩写/基本概念

以你之姓@ 2023-02-28 11:24 14阅读 0赞

# 各种误差：RMSE、MSE、MAE、SD #

## RMSE（Root Mean Square Error）均方根误差 ##

衡量观测值与真实值之间的偏差。常用来作为机器学习模型预测结果衡量的标准。

![20200721113142810.png][]

## MSE（Mean Square Error）均方误差 ##

MSE是真实值与预测值的差值的平方然后求和平均。通过平方的形式便于求导，所以常被用作线性回归的损失函数。

![20200721113155805.png][]

## MAE（Mean Absolute Error）平均绝对误差 ##

是绝对误差的平均值。可以更好地反映预测值误差的实际情况。

![20200721113208295.png][]

## SD（Standard Deviation）标准差 ##

方差的算术平均根。用于衡量一组数值的离散程度。

![2020072111322022.png][]

# Epoch，Batchsize，Iterations #

在训练模型时，如果训练数据过多，无法一次性将所有数据送入计算，那么我们就会遇到epoch，batchsize，iterations这些概念。为了克服数据量多的问题，我们会选择将数据分成几个部分，即batch，进行训练，从而使得每个批次的数据量是可以负载的。将这些batch的数据逐一送入计算训练，更新神经网络的权值，使得网络收敛。

## **Epoch** ##

一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程。由于一个epoch常常太大，计算机无法负荷，我们会将它分成几个较小的batches。那么，为什么我们需要多个epoch呢？我们都知道，在训练时，将所有数据迭代训练一次是不够的，需要反复多次才能拟合收敛。在实际训练时，我们将所有数据分成几个batch，每次送入一部分数据，梯度下降本身就是一个迭代过程，所以单个epoch更新权重是不够的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

可见，随着epoch数量的增加，神经网络中权重更新迭代的次数增多，曲线从最开始的不拟合状态，慢慢进入优化拟合状态，最终进入过拟合。

因此，epoch的个数是非常重要的。那么究竟设置为多少才合适呢？恐怕没有一个确切的答案。对于不同的数据库来说，epoch数量是不同的。但是，epoch大小与数据集的多样化程度有关，多样化程度越强，epoch应该越大。

## **Batch Size** ##

所谓Batch就是每次送入网络中训练的一部分数据，而Batch Size就是每个batch中训练样本的数量。

上文提及，每次送入训练的不是所有数据而是一小部分数据，另外，batch size 和batch numbers不是同一个概念~

Batch size大小的选择也至关重要。为了在内存效率和内存容量之间寻求最佳平衡，batch size应该精心设置，从而最优化网络模型的性能及速度。

## **Iterations** ##

所谓iterations就是完成一次epoch所需的batch个数。刚刚提到的，batch numbers就是iterations。简单一句话说就是，我们有2000个数据，分成4个batch，那么batch size就是500。运行所有的数据进行训练，完成1个epoch，需要进行4次iterations

# 卷积 conv 反卷积deconv/transposed conv #

## 卷积 ##

作用:提取局部区域内的特征

## 反卷积 ##

实现信号复原，在全卷积网络(FCN)中，实现上采样。

# 参考： #

RMSE(均方根误差)/MSE(均方误差)/MAE(平均绝对误差)/SD(标准差)[https://blog.csdn.net/FrankieHello/article/details/82024526/][https_blog.csdn.net_FrankieHello_article_details_82024526]

深度学习中的Epoch，Batchsize，Iterations，都是什么鬼？[https://www.jianshu.com/p/e5076a56946c/][https_www.jianshu.com_p_e5076a56946c]

卷积和反卷积（deconv）的正向 [https://blog.csdn.net/qq\_31157393/article/details/82051319][https_blog.csdn.net_qq_31157393_article_details_82051319]

[20200721113142810.png]: /images/20230209/02e62d71a3534facbe0269a81416c8fd.png
[20200721113155805.png]: /images/20230209/56c4c8d904c144f6bb2ca26234b451b6.png
[20200721113208295.png]: https://img-blog.csdnimg.cn/20200721113208295.png
[2020072111322022.png]: https://img-blog.csdnimg.cn/2020072111322022.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200721124955953.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_FrankieHello_article_details_82024526]: https://blog.csdn.net/FrankieHello/article/details/82024526/
[https_www.jianshu.com_p_e5076a56946c]: https://www.jianshu.com/p/e5076a56946c/
[https_blog.csdn.net_qq_31157393_article_details_82051319]: https://blog.csdn.net/qq_31157393/article/details/82051319