梯度下降

深藏阁楼爱情的钟 2023-02-10 03:37 135阅读 0赞

1.批量梯度下降

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70][]

缺点：当m很大时，计算量非常大，耗时

1.随机梯度下降（一般情况下不会完全收敛，只是接近全局最小）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 1][]

判断是否收敛？以及什么时候调整学习率的值？

画出1000个数据随着梯度更新带来的代价函数的变化曲线，根据曲线去判断，好处是不需要遍历整个数据集。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 3][]

（从左到右，从上到下的顺序）第一幅图是收敛时，蓝色为大学习率，红色为减小学习率可能得到的结果，第二张图是收敛时，增加样本数量可能得到的结果，第三幅图红色是增加样本数量相比1000可能收敛的结果，粉色是没有学习的情况，这是就要调整算法学习率、特征或者算法等东西，第四幅图是梯度下降发散，这是就要调小学习率。

随机梯度下降一般情况下不会完全收敛，只是接近全局最小，为了使其达到全局最小，可以设置学习率的值，使其随着时间变化而减小，如下图。迭代次数是指已经完成的迭代次数，但是这个还要花时间去确定两个常数的值。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 4][]

2.mini-batch梯度下降算法（介于随机梯度下降和批量梯度下降算法之间）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 5][]

优点：下降速度比随机梯度下降更快一些；更容易使用向量化思维实现并行

缺点：需要花时间确定b的取值

3.在线学习

传统的机器学习算法是批量模式的，假设所有的训练数据预先给定，通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模规模上取得了巨大成功，但当数据规模大时，其计算复杂度高、响应慢，无法用于实时性要求高的应用。与批量学习不同，在线学习假设训练数据持续到来，通常利用一个训练样本更新当前的模型，大大降低了学习算法的空间复杂度和时间复杂度，实时性强。在大数据时代，大数据高速增长的特点为机器学习带来了严峻的挑战，在线学习可以有效地解决该问题。引自[https://baijiahao.baidu.com/s?id=1594337146635999109&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1594337146635999109_wfr_spider_for_pc]

4.Mapreduce：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 6][]

形象化一点就是，我有一份工作，但是如果我自己做，需要十天，但是分发给10个人，每个人做一部分，一天就做完了，最后汇总到我这里，，更新任务，再继续分发下去，从而实现减少并行，提高运行速度。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200519184419848.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200519190142597.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200520140425821.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200520141400793.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200520142411303.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200520135431778.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk=,size_16,color_FFFFFF,t_70
[https_baijiahao.baidu.com_s_id_1594337146635999109_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1594337146635999109&wfr=spider&for=pc
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200520165836509.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NzZG5fa2VsbHk=,size_16,color_FFFFFF,t_70