深度学习理解入门

短命女 2022-06-07 07:17 172阅读 0赞

1、统计学习概念

统计学习=模型+策略+算法

策略主要是采用什么样的方法来最优化，定义标准为损失函数和风险函数，损失函数评价一次预测的好坏，风险函数是评价平均意义的好坏

算法主要是解决最优化的问题，主要是用传统的数组算法，常用的算法如梯度下降法

2、神经网络

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

神经网络的关键概念：激励函数、权重、神经元

3、多层神经网络

多层神经网络与universal approximation theorem \[1\] （泛逼近性原理，不知这样翻译可对？）相伴而生。该理论指出，单隐藏层（hidden layer）非线性前馈神经网络，可以在实数空间近似任何连续函数。上世纪80 90年代，Backpropagation 刚刚开始大行其道，利用这一算法，只需知道输入和输出便可训练网络参数，从而得到一个神经网络“黑箱”。之所以称为黑箱，是因为无需知道y=f(x) 中f的表达式是什么，也能轻易做函数计算，因为f（objective function）就是网络本身。多层神经网络的座右铭是：“函数是什么我不管，反正我能算！“。

当然多层神经网络并非天下无敌，它有三个主要限制：

一是在面对大数据时，需要人为提取原始数据的特征作为输入，这个问题前面的知友提到过@[杨延生][Link 1]。必须忽略不相关的变量，同时保留有用的信息。这个尺度很难掌握，多层神经网络会把蹲在屋顶的Kitty和骑在猫奴头上的Kitty识别为不同的猫咪，又会把二哈和狼归类为同一种动物。前者是对不相关变量过于敏感，后者则因无法提取有实际意义的特征。

二是想要更精确的近似复杂的函数，必须增加隐藏层的层数，这就产生了梯度扩散问题@[青青子衿][Link 2]。所谓“强弩之末势不能穿鲁缟“。

三是无法处理时间序列数据（比如音频），因为多层神经网络不含时间参数。

4、深度学习

"深度学习"是为了让层数较多的多层神经网络可以训练，能够work而演化出来的一系列的 新的结构和新的方法。

新的网络结构中最著名的就是CNN，它解决了传统较深的网络参数太多，很难训练的问题，使用了“局部感受野”和“权植共享”的概念，大大减少了网络参数的数量。关键是这种结构确实很符合视觉类任务在人脑上的工作原理。  
新的结构还包括了：LSTM，ResNet等。

新的方法就多了：新的激活函数：ReLU，新的权重初始化方法（逐层初始化，XAVIER等），新的损失函数，新的防止过拟合方法（Dropout, BN等）。这些方面主要都是为了解决传统的多层神经网络的一些不足：梯度消失，过拟合等。

深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级

**总体说来：**

1>深度学习改进了传统多层神经网络的学习模型，

2>解决了学习中的局部最优而非全局最优的问题，新的损失函数，新的防止过拟合方法

3>新的结构下针对神经网络提出了新的激活函数和连接函数

5、深度学习常见模型

DNN(深度神经网络)：典型的一个大类，依据这个大类的结果创新出不同的结构

CNN(卷积神经网络)：DNN上下层神经单元不直接相连，**通过卷积核作为中介**，同一个卷积核在图像内是共享的，非常适合与处理图像的识别

RNN(循环神经网络)： DNN上的神经元和自身相连，主要是针对样本出现的顺序非常重要，解决了DNN无法对时间序列上建模，解决自然语言处理、语言识别、手写体识别中遇到的问题。

LSTM（长短记忆单元）：RNN中为了解决“梯度消失”的问题，引入了长短记忆单元LSTM

其他创新结构：双向RNN，双向LSTM，这二种结构同时利用历史和未来的信息来进行学习

本文参考知乎上相关介绍和李航的统计学习方法，结合自己的理解。以及UFLDL教程([http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B][http_ufldl.stanford.edu_wiki_index.php_UFLDL_E6_95_99_E7_A8_8B])

推荐一篇相关概念文章： http://blog.csdn.net/pangjiuzala/article/details/72630166

[Link 1]: https://www.zhihu.com/people/ronny
[Link 2]: https://www.zhihu.com/people/caijia
[http_ufldl.stanford.edu_wiki_index.php_UFLDL_E6_95_99_E7_A8_8B]: http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B