深度学习导论 - 读李宏毅《1天搞懂深度学习》

我不是女神ヾ 2022-05-12 12:34 213阅读 0赞

**[ppt下载地址][ppt]**

”《1天搞懂深度学习》，300多页的ppt，台湾李宏毅教授写的，非常棒。不夸张地说，是我看过最系统，也最通俗易懂的，关于深度学习的文章。“

这是slideshare的链接：  
[http://www.slideshare.net/tw\_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from\_search=3][http_www.slideshare.net_tw_dsconf_ss-62245351_qid_108adce3-2c3d-4758-a830-95d0a57e46bc_v_b_from_search_3]

没梯子的同学，可以从我的网盘下：  
链接：[http://pan.baidu.com/s/1nv54p9R][http_pan.baidu.com_s_1nv54p9R] 密码：3mty

废话少说，先上干货，整个PPT的思维导图如下：

![746857-20170227234910579-838357543.png][]

## 深度学习概论 ##

### 介绍深度学习 ###

作者非常浅显的指出机器（深度）学习过程非常简单，分为定义方法、判断方法的优劣、挑选出最佳的方法。

![746857-20170227234130954-309069264.png][]

对于深度学习，首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

神经网络的思想来源于对于人脑的生理上的研究，人脑由数亿个神经元组成，神经元通过轴突互相连接通信。神经网络和人脑类似，存在多个层级（layer），每个层级都有多个节点（神经元），层级和层级之间相互连接（轴突），最终输出结果。

对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳，逐步的将抽象的原始数据变的具体。以图片识别为例，输入是一个个像素点，经过每层神经网络，逐步变化成为线、面、对象的概念，然后机器有能力能够识别出来。

![746857-20170227234602454-698167390.png][]

第二步，评估方法的优劣。

Loss function是用于评估方法优劣，通常我们用学习出来的参数对测试数据进行计算，得出对应的预测（y）然后和真实的测试数据的目标值（t）进行比对，y和t之间的差距往往就是Loss。那么评估一个算法的好坏，就是要尽可能的降低Loss。

![746857-20170301214444282-1126886789.png][]

第三步，如何获得最佳的学习方法

获得最佳的学习是采用梯度下降算法，作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能，实际上更像是在一个地图上面拓荒，对周边一无所知。神经网络计算梯度的算法是反向传播算法，简称BP。

![746857-20170301214924079-264079477.png][]

### Why Deep？ ###

作者首先指出越多的参数往往带来越好的预测能力，所以神经网络往往参数越多越好。那么如果是同样的参数情况下，为什么层级较多的表现会更好呢？

![746857-20170301220037063-136831445.png][]

作者认为深度网络可以带来模块化的好处，随着网络的层级，神经网络会将像素元素逐渐归纳出一些基本的特征，进而变成纹理，进而变成对象。

![746857-20170301220253907-2102633794.png][]

## 训练方法 ##

![746857-20170301220625141-387786433.png][]

作者总结下来训练过程中会发现了两种情况：

1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致，需要重新定义方法

![746857-20170301221734751-771825099.png][]

优化训练方法的手段：

1. 选择合适的Loss function：使用Cross Entropy效果要优于Mean Square Error

2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

3. Activation Function：使用ReLU替代Sigmoid可以解决梯度消失的问题，可以训练更深的神经网络

4. Adaptive Learning Rate：可以随着迭代不断自我调整，提高学习效率

5. Momentum: 可以一定程度上避免陷入局部最低点的问题

![746857-20170301222410407-1019599077.png][]

避免过度拟合（overfitting）的方法：

1. Early Stopping：使用cross validation的方式，不断对validation data进行检验，一旦发现预测精度下降则停止。

2. Weight Decay：参数正则化的一种方式？

3. Dropout：通过随机去掉一些节点的连接达到改变网络形式，所以会产生出多种网络形态，然后汇集得到一个最佳结果

4. Network Structure: 例如CNN等其他形态的网络

## 神经网络变体 ##

### Convolutional Neural Network (CNN) ###

![746857-20170301223226438-1256487801.png][]

通常情况下，一个CNN包含多次的卷积、池化，然后Flatten，最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩，核心的想法在于一些物体的特征往往可以提取出来，并且可能出现在图片的任何位置，而且通过卷积、池化可以大大减少输入数据，加快训练效率。

### Recurrent Neural Network (RNN) ###

![746857-20170301223659657-823192483.png][]

RNN的想法是可以将hidden layer的数据存储下来，然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的，所以RNN可以把这些关联性放到网络中进行学习。

## 其他前沿技术 ##

Ultra Deep Network：2015年出现了152层的Residual Net实现了图片3.57%错误率

![746857-20170301224214204-507923991.png][]

Reinforcement Learning: 通过奖励机制强化学习，并且做出相应的动作

![746857-20170301224711845-224615766.png][]

Unsupervised Learning:

1. Deep Style

![746857-20170301225019501-1783733490.png][]

2. 生成图片

![746857-20170301225114860-1879483958.png][]

3. 无需人工介入理解文字的含义

![746857-20170301225308126-49642954.png][]

[ppt]: https://download.csdn.net/download/u010164190/10576435
[http_www.slideshare.net_tw_dsconf_ss-62245351_qid_108adce3-2c3d-4758-a830-95d0a57e46bc_v_b_from_search_3]: https://link.zhihu.com/?target=http%3A//www.slideshare.net/tw_dsconf/ss-62245351%3Fqid%3D108adce3-2c3d-4758-a830-95d0a57e46bc%26v%3D%26b%3D%26from_search%3D3
[http_pan.baidu.com_s_1nv54p9R]: https://link.zhihu.com/?target=http%3A//pan.baidu.com/s/1nv54p9R
[746857-20170227234910579-838357543.png]: /images/20220512/d8e13b6d1bc14a0eacc06bbfc3c1b21a.png
[746857-20170227234130954-309069264.png]: /images/20220512/55e03706cd7e4a62ad39ef5367674ed0.png
[746857-20170227234602454-698167390.png]: /images/20220512/a6e8a695704d4457998dad03a749e3d0.png
[746857-20170301214444282-1126886789.png]: /images/20220512/cb076fe860ea4b24b043804aed2db216.png
[746857-20170301214924079-264079477.png]: /images/20220512/75dc34a4742e417f80d9f2c596777b89.png
[746857-20170301220037063-136831445.png]: /images/20220512/9fd59f92438c4228a01fae9a5d1a8645.png
[746857-20170301220253907-2102633794.png]: /images/20220512/00caaa7206334d2fa9b0da9d7b025305.png
[746857-20170301220625141-387786433.png]: /images/20220512/89c7b8e6b63643a980529f1fa0c64fb7.png
[746857-20170301221734751-771825099.png]: /images/20220512/f85d367534894fa396eb94a9be269e1a.png
[746857-20170301222410407-1019599077.png]: /images/20220512/12914293fa6541ff8e28a7636615aded.png
[746857-20170301223226438-1256487801.png]: /images/20220512/83f2c0a94102468fafa54dc4733c402b.png
[746857-20170301223659657-823192483.png]: /images/20220512/30d478762c34404c87e0187c284d2e8e.png
[746857-20170301224214204-507923991.png]: /images/20220512/2ce7270363d04beba6edfa7002c6ff19.png
[746857-20170301224711845-224615766.png]: /images/20220512/9e53ebe075d34a558b0d370b897a6924.png
[746857-20170301225019501-1783733490.png]: /images/20220512/b04baa95609c4953a7910b3df0e63ef2.png
[746857-20170301225114860-1879483958.png]: /images/20220512/9105d7ad750c4ee8829c04db057047ce.png
[746857-20170301225308126-49642954.png]: /images/20220512/49284e8773994324be9b4c333f7ddc29.png