【台大李宏毅ML课程】Lecture 6-11 Deep Learning笔记

末蓝、 2022-05-30 10:10 135阅读 0赞

李宏毅老师ML课程的Lecture 6-11都是在讲deep learning，所以合在一起总结好了。  
主要内容我用xmind大致总结了一下。  
![这里写图片描述][70]  
如有错误，请务必指正谢谢！！  
用图来源于课程以及网上的图~

**1.Deep learning发展史**  
略（= =||）

**2.Mini-batch Gradient Descent**  
每次（one epoch）选取一部分数据进行梯度下降，从而参数更新；而不是每次都min total loss；如果batch-size=1，相当于随机梯度下降；重复多次，每次都要重新对数据进行shuffle，即每个epoch的batch中的数据应该是不一样的。（keras默认）  
![这里写图片描述][70 1]  
keras中这么使用：

model.fit(x_train,y_train,batch_size=100,nb_epoch=20)

以上每个batch有100个数据，重复20次~  
速度比较：  
显然，batch大时间更短~~  
![这里写图片描述][70 2]

为什么会这样呢？解释如下图：  
![这里写图片描述][70 3]  
batch越大速度越快，但是可能会得到坏一点的训练结果。

**3.DNN的一些Tips**  
**（1）Don’t always blame Overfitting**  
随着模型复杂度增加，如果training的结果变差：  
如果testing的结果也随着模型复杂度增加而变差，那就不是过拟合，而是testing的时候模型没有训练好；尝试更换激活函数或者dropout看能否解决~反之才是过拟合~~

**（2）DNN并不是越deep越好**  
这个显而易见了就不多解释了~~

**（3）Sigmoid激活函数会带来Vanishing Gradient Problem（梯度弥散）问题**  
原因  
首先解NN是用的backpropogation来更新参数，其实包含sigmoid的导数，图像长这样：  
![这里写图片描述][70 4]  
前一层的参数更新是依赖于后一层，它们的关系是sigmoid的导数，所以哪怕最后一层有一个很大的参数更新，乘上导数会越来越小，到第一层时参数的更新会很小很小，几乎没变~  
![这里写图片描述][70 5]  
可参考这篇文章：[https://www.cnblogs.com/yangmang/p/7477802.html][https_www.cnblogs.com_yangmang_p_7477802.html]  
改进：采用ReLu函数就不会出现上面的问题，因为是线性关系：  
![这里写图片描述][70 6]  
如果参数需要更新，则相当于做线性变换；不需要更新就是0；整体上看就变成了一个thinner的网络：  
![这里写图片描述][70 7]  
![这里写图片描述][70 8]

ReLu的变式：  
Leaky ReLu  
Paramatric ReLu  
![这里写图片描述][Image 1]  
Maxout（ReLu相当于Maxout一种特例）  
![这里写图片描述][Image 1]

**（4）Adaptive Learning Rate几种不同的下降方法**  
之前介绍的是Adagrad方法：  
![这里写图片描述][Image 1]  
RMSProp方法：  
![这里写图片描述][Image 1]  
Momentum方法：  
在那些局部极小值点的时候，会像球一样，由于惯性，继续往前走，这样就可以越过局部极小值点（但这只是希望这样做）  
![这里写图片描述][Image 1]  
Adam方法：RMSProp+Monmentum  
![这里写图片描述][Image 1]

**（5）Early Stopping**  
大概意思应该就是在训练的时候选择合适的epoch参数，使得train loss和validate loss都比较小~  
![这里写图片描述][Image 1]

**（6）Regularization**  
最终的找到的预测函数总是希望在min loss func还能越平滑拍越好，于是参数wi总是希望越接近于0越好，于是对参数进行惩罚（正则化），比较了L1和L2正则化：  
L2能得到平滑的wi，L1能得到稀疏的wi

**（7）Dropout**  
在train的时候只训练部分neuron，而在test的时候会用到所有的neuron。可以这么理解，因为train的时候，被选中的neuron（人）认为队友都不干活（dropout），只能靠自己，于是就会更加努力去做好。所有大家都会努力，于是最后合在一起的时候就会很强。有种ensemble的感觉。  
但是，如果dropoutrate是p%,最后合在一起的weight应该乘上1-p%，解释如下:  
![这里写图片描述][Image 1]

[70]: /images/20220530/cc343b45115e408db0196e30c0e48cee.png
[70 1]: /images/20220530/d1760bf6c28a4030b5a1145a9e463e7f.png
[70 2]: /images/20220530/ceb8f653b9ef4c3f87ccf5c616c257ca.png
[70 3]: /images/20220530/892dec46521647fba19d1298e4d87038.png
[70 4]: /images/20220530/e05e2b1f4ddf48e9b071afac3765aea6.png
[70 5]: /images/20220530/a97c3dde2d814905bd681a26c024103b.png
[https_www.cnblogs.com_yangmang_p_7477802.html]: https://www.cnblogs.com/yangmang/p/7477802.html
[70 6]: /images/20220530/12b0455398554f188b4b52a7f1984f13.png
[70 7]: /images/20220530/4d4a92c19a2c434b9fb4130e7f249e3d.png
[70 8]: /images/20220530/d2e5e98a25f847eeba5d20fb6d859e13.png
[Image 1]: