深度学习初体验

短命女 2022-05-31 10:19 232阅读 0赞

**深度学习初体验**

1.  偏差

1）首先 Error（误差） = Bias（偏差） + Variance（方差）  
Error反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。

2.  感知器和激活函数

详见：https://yq.aliyun.com/articles/69850?spm=a2c4e.11153940.blogcont69848.24.5a264cadFdVj9Q

3.  反向传播算法

以误差（Error）为主导的反向传播（Back Propagation）运动，旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。  
    前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。

参考：http://www.sohu.com/a/168767295\_826434

**4.  梯度算法**

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。

梯度下降背后的思想是：开始时我们随机选择一个参数的组合（θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum）。直白的话说，梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快。

![20180221115515132][]

参考：https://www.cnblogs.com/pinard/p/5970503.html

5.  监督学习/非监督学习

监督学习（supervised learning）：通过已有的训练样本（即已知数据以及其对应的输出）来训练，从而得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的判断从而实现分类的目的，那么这个最优模型也就具有了对未知数据进行分类的能力。在社会中，我们在很小的时候就被大人教授这是鸟啊，那是猪啊，这个是西瓜、南瓜，这个可以吃、那个不能吃啊之类的，我们眼里见到的这些景物食物就是机器学习中的输入，大人们告诉我们的结果就是输出，久而久之，当我们见的多了，大人们说的多了，我们脑中就会形成一个抽象的模型，下次在没有大人提醒的时候看见别墅或者洋楼，我们也能辨别出来这是房子，不能吃，房子本身也不能飞等信息。上学的时候，老师教认字、数学公式啊、英语单词等等，我们在下次碰到的时候，也能区分开并识别它们。这就是监督学习，它在我们生活中无处不在。

[![supervised learning][]][supervised learning 1]  
      无监督学习（unsupervised learning）：我们事先没有任何训练数据样本，需要直接对数据进行建模。比如我们去参观一个画展，我们对艺术一无所知，但是欣赏完很多幅作品之后，我们面对一幅新的作品之后，至少可以知道这幅作品是什么派别的吧，比如更抽象一些还是更写实一点，虽然不能很清楚的了解这幅画的含义，但是至少我们可以把它分为哪一类。再比如我们在电影院看电影，对于之前没有学过相关电影艺术知识的我们，可能不知道什么是一部好电影，什么是一部不好的电影，可是在观看了很多部电影之后，我们脑中对电影就有了一个潜在的认识，当我们再次坐在电影院认真观看新上映的电影时，脑中就会对这部电影产生一个评价：怎么这电影这么不好啊，整个故事线是混乱的，一点也不清晰，比我之前看过的那些电影差远了，人物的性格也没有表现出来，关键是电影主题还搞偏了；哎呀，这个电影拍得确实好啊，故事情节和人物性格都很鲜明，而且场景很逼真，主角的实力表演加上他与生俱来的忧郁眼神一下把人物演活了。

6.  卷积神经网络(CNN)

M-P神经元模型如下：

![20180221115553171][]

下图是一个经典的CNN结构，称为LeNet-5网络。

![20180221115606858][]

所以最左边是数据输入层，对数据做一些处理，比如去均值（把输入数据各个维度都中心化为0，避免数据过多偏差，影响训练效果）、归一化（把所有的数据都归一到同样的范围）、PCA/白化等等。CNN只对训练集做“去均值”这一步。  
     LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。  
1. C1层是一个卷积层  
输入图片：32\*32  
卷积核大小：5\*5  
卷积核种类：6  
输出featuremap大小：28\*28 （32-5+1）  
神经元数量：28\*28\*6  
可训练参数：（5\*5+1）\*6（每个滤波器5\*5=25个unit参数和一个bias参数，一共6个滤波器）  
连接数：（5\*5+1）\*6\*28\*28  
2. S2层是一个下采样层  
输入：28\*28  
采样区域：2\*2  
采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid  
采样种类：6  
输出featureMap大小：14\*14（28/2）  
神经元数量：14\*14\*6  
可训练参数：2\*6（和的权+偏置）  
连接数：（2\*2+1）\*6\*14\*14  
S2中每个特征图的大小是C1中特征图大小的1/4  
3. C3层也是一个卷积层  
输入：S2中所有6个或者几个特征map组合  
卷积核大小：5\*5  
卷积核种类：16  
输出featureMap大小：10\*10  
C3中的每个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合  
存在的一个方式是：C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。  
则：可训练参数：6\*（3\*25+1）+6\*（4\*25+1）+3\*（4\*25+1）+（25\*6+1）=1516  
连接数：10\*10\*1516=151600  
4. S4层是一个下采样层  
输入：10\*10  
采样区域：2\*2  
采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid  
采样种类：16  
输出featureMap大小：5\*5（10/2）  
神经元数量：5\*5\*16=400  
可训练参数：2\*16=32（和的权+偏置）  
连接数：16\*（2\*2+1）\*5\*5=2000  
S4中每个特征图的大小是C3中特征图大小的1/4  
5. C5层是一个卷积层  
输入：S4层的全部16个单元特征map（与s4全相连）  
卷积核大小：5\*5  
卷积核种类：120  
输出featureMap大小：1\*1（5-5+1）  
可训练参数/连接：120\*（16\*5\*5+1）=48120  
6. F6层全连接层  
输入：c5 120维向量  
计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数  
可训练参数:84\*(120+1)=10164。

可以看出，CNN中主要有两种类型的网络层，分别是卷积层和池化/采样层(Pooling)。卷积层的作用是提取图像的各种特征；池化层的作用是对原始特征信号进行抽象，从而大幅度减少训练参数，另外还可以减轻模型过拟合的程度。

**     参考：通俗理解CNN算法之http://blog.csdn.net/v\_july\_v/article/details/51812459**

[20180221115515132]: /images/20220531/97f6d71ce03b42d0993b670863a4b2f2.png
[supervised learning]: /images/20220531/606bbe0d2fc54f6dbeb1123ada8dab5c.png
[supervised learning 1]: http://www.ctocio.com/hotnews/15919.html/attachment/supervised-learning
[20180221115553171]: /images/20220531/591c92e0f2484615a7674d677799b766.png
[20180221115606858]: /images/20220531/a899433d8a4240cfa5cc4c0832656848.png