多元梯度下降法

待我称王封你为后i 2022-01-21 06:21 298阅读 0赞

# ![20191009191333910.png][][日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

2.多元梯度下降法
    	1.多元梯度下降法：使用梯度下降法来处理多变量线性回归(多元线性回归)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 3][]

3.多元梯度下降运算中的实用技巧（均用于优化梯度下降，最终目的均是使下降速度变得更快）
    	1.特征缩放
    		特征缩放的作用：使梯度下降的速度变得更快，则收敛所需的迭代次数便更少，这就是特征缩放。
    
    		1.首先讨论什么情况下需要特征缩放
    			1.比如你有一个机器学习问题，这个问题有多个特征，如果你能确保这些特征都处在一个相近的范围内，那么这样梯度下降法就能更快地收敛。
    		  	  具体地说，假如你有一个具有两个特征的问题，其中x_1是房屋面积大小，他的取值范围在0到2000之间。x_2是卧室数量，他的取值范围在1到5之间。
    		  	2.代价函数J(θ)是一个关于参数θ0、θ1、θ2的函数，但暂时忽略θ0，并假设这个函数的变量就只有θ1、θ2。
    		  	  但如果x_1(房屋面积大小)的取值范围远远大于x_2(卧室数量)的取值范围的话，那么最终画出的代价函数J(θ)的等值线就会呈现出如下图，
    		  	  一种非常歪斜并且椭圆的形状。实际2000比5(房屋面积大小比卧室数量)的比例，会让这个椭圆更加瘦长，
    			  所以这个又瘦又高的椭圆形等值线图就是如下图这些非常高大细长的椭圆形，从而构成了代价函数J(θ)的等值线。
    		  	3.如果你在这种代价函数上运行梯度下降的话，你的梯度最终可能需要花很长一段时间，并且可能会来回波动，
    			  然后会经过很长时间最终才收敛到全局的最小值。如果这些等值线还更夸张一些的话，那么可以把它画的更细更长，可能比这还更夸张一点，
    			  结果就是梯度下降的过程可能更加缓慢，并且反复来回震荡，需要花费很长时间才找到一条通往全局的最小值的路线。
    		  	  在这样的情况下，一种有效的方法就是进行特征缩放。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 4][]

2.如何实现特征缩放
    			1.第一步：首先特征值x_1(房屋面积大小)的取值范围在0到2000之间，那么把特征值x_1定义为 房屋面积大小 除以 2000。
    			2.第二步：然后特征值x_2(卧室数量)的取值范围在1到5之间，那么把特征值x_2定义为 卧室数量 除以 5。
    			3.那么经过第一步、第二步之后，代价函数J(θ)的等值线就会变得偏移情况没那么严重，看起来可能更加圆一些了。
    			  如果在这样的代价函数上执行梯度下降的话，那么便会找到一条更直接的路线通向全局的最小值。
    			  而不是再像原来之前那样子需要沿着一条极其复杂得多的路线来找全局的最小值。
    			  因此，通过这些特征缩放的操作，x_1和x_2他们两者特征值的取值范围变得更加相近，从而使两者的值的取值范围都在0和1之间。
    			4.在这个例子中，我们最终需要把这两个特征值x_1和x_2的取值范围都控制在0和1之间。
    			  这样你得到的梯度下降算法便可以更快速地收敛到全局的最小值。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 5][]

3.结论
    			1.更一般的，在执行特征缩放时的通常目的是：将特征的取值范围约束到-1到+1的范围之内。
    			  比如说特征值x_0总是等于1，那么这已经在-1到+1的范围之内。但对于其他特征值可能需要通过除以不同的数来让他们处于这同一范围之内。
    			2.-1和1这两个数字并不是太重要。比如说有一个特征值x_1的取值范围在0到3之间，非常接近-1到+1的范围之内这没问题。
    			  如果还有另外一个特征值x_2的取值范围在-2到+0.5之间，这也非常接近-1到+1的范围之内这也没问题。
    			  但如果说有另外一个特征值x_3它的取值范围在-100到+100之间，那么它和-1到+1的范围就有很多差异了，所以这个便是范围不是太合适的特征。
    			3.如果特征值在非常非常小的范围之内的话，比如说一个特征值x_4的取值范围在-0.0001到+0.0001之间的话，那么这便是比-1到+1小得多的范围，
    			  因此同样认为这个特征值的范围不合适。所以可能认可的范围也许可以大于+1或者小于+1，但是也别相差太大，比如+100，
    			  也别太小，比如刚才所述的+0.001。
    			4.可以一般这么考虑，特征值的取值范围在-3到+3的范围之内是可以接受的，如果某个特征值的取值范围大于-3到+3的范围的话，就需要注意了。
    			  比如某个特征值的取值范围在-1/3到+1/3之间 或 0到+1/3之间 或 -1/3到0之间的话，可以认为都可以接受的。
    			  比如前面所述的特征值x_4的取值范围在-0.0001到+0.0001之间就需要重新考虑了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 6][]

5.因此根据上述几点总结得出：
    				1.某个特征值的取值范围是否完全在指定的范围之内或区间之内是没有强制性要求的，
    				  最低也只要求特征值的取值范围足够接近指定的范围或区间即可，那么这样梯度下降便能正常地工作。
    				2.除了将特征值除以范围的最大值之外，在特征缩放中有时候也会进行一个叫做“均值归一化”的操作。
    				3.比如说有一个特征值x_i，然后用“x_i 减 u_i”来替换掉x_i，从而让该特征值具有为0的平均值。
    				  但很明显我们不需要把这一步应用到特征值x_0当中，因为特征值x_0总是等于1，所以特征值x_0不可能有为0的平均值。
    				4.比如房子大小的取值范围在0到2000之间，并且假如房子大小的平均值等于1000的，
    				  那么可以用 x_1=(size-1000)/2000 的公式，首先把特征值x_1赋值给size，然后减去平均值1000，再除以最大值2000，
    				  从而达到对特征值x_1进行均值归一化，即相当于重新计算出新的特征值x_1，这样x_1的取值范围便可以控制在-0.5到+0.5之间，
    				  当然这不一定对。
    				5.比如如果房子中卧室数量的取值范围是1到5间，并且平均一间房子有2间卧室，即卧室数量的平均值等于2，
    				  那么可以使用 x_2=(bedrooms-2)/5 的公式，首先把特征值x_2赋值给bedrooms，然后减去平均值2，再除以最大值5，
    				  从而达到对特征值x_2进行均值归一化，即相当于重新计算出新的特征值x_2，这样x_2的取值范围便可以控制在-0.5到+0.5之间，
    				  当然这不一定对，x_2的取值范围可以略大于+0.5，但很接近。
    				6.更一般的规律是：
    					1.可以用 (x_1 - u_1)/s_1 来替换掉x_1。
    				  	2.u_1是训练集中特征值x_1的平均值。
    				  	3.s_1是该特征值x_1的的范围值，该范围值指的是范围值的最大值减去范围值的最小值，即可以把s_1理解为该特征值x_1的标准差。
    				  	4.比如说对于特征值x_2(卧室数量)可以使用这个x_2=(x_2 - u_2)/s_2公式，
    				  	  即x_2(卧室数量)减去平均值u_2再除以“范围最大值减去范围最小值的”差值。
    					5.如果用“范围最大值减去范围最小值的”差值作为s_1的话，那么前面例子汇总 x_2的取值范围是1到5，
    					  x_2=(bedrooms-2)/5 就可以改成 x_2=(bedrooms-2)/4。
    					  但是此例子实际的话，除以范围最大值还是除以“范围最大值减去范围最小值的”差值都是可以的，
    					  因为5和4的取值都是非常相近的，只要将特征值转换为相近似的范围就都是可以的。
    					  特征缩放实际并不需要太精确，而只是为了让梯度下降能够运行得更快一点即可。
    					6.特征缩放的作用：使梯度下降的速度变得更快，则收敛所需的迭代次数便更少，这就是特征缩放。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 7][]

2.学习率a
    		1.下图是梯度下降算法的更新规则

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 8][]

2.如何选择学习率a
    			1.梯度下降算法所做的事情就是为了找到一个θ值，并且希望它能够最小化代价函数J(θ)。
    			2.在梯度下降算法运行时，下图绘画出代价函数J(θ)的值。
    				1.x轴(横轴)：梯度下降算法的迭代次数。以前学习中看到的J(θ)曲线图中的x轴表示参数向量θ，但注意此处并不代表参数向量θ。
    				  y轴(竖轴)：代表J(θ)值，即根据“梯度下降算法迭代一定次数之后所得到的”θ值然后所计算出来的J(θ)值。
    				2.随着梯度下降算法的运行，得到下图中的一条J(θ)曲线。
    					1.J(θ)曲线上的“对应x轴上值为100的”红点表示：
    						当运行到第100次的梯度下降的迭代计算时所得到的某个θ值，这个θ值将用于评估代价函数J。
    						并且这个红点对应到y轴上的值(也即该红点垂直到x轴的高度值)代表迭代到第100次时所获得的θ值然后所计算出来的J(θ)值。
    					2.J(θ)曲线上的“对应x轴上值为200的”红点表示：
    						当运行到第200次的梯度下降的迭代计算时所得到的某个θ值，这个θ值将用于评估代价函数J。
    						并且这个红点对应到y轴上的值(也即该红点垂直到x轴的高度值)代表迭代到第200次时所获得的θ值然后所计算出来的J(θ)值。
    				3.J(θ)曲线显示的是梯度下降每步迭代之后所计算出的代价函数J(θ)的值。如果梯度下降运算正常的话，
    				  那么每一步迭代之后，代价函数J(θ)的值都应该有所下降。
    				  那么J(θ)曲线的用处便是告诉我们梯度下降算法迭代次数和代价函数J(θ)值之间的关系。
    				4.通过图中J(θ)曲线显示便得知，当梯度下降算法迭代至300到400次之间时，看起来代价函数J(θ)的值都并没有下降多少。
    				  当迭代到第400次时，代价函数J(θ)曲线下降得已经很平缓了，意味着梯度下降算法已经差不多收敛至最小值了，
    				  因为代价函数J(θ)曲线已经没有再继续下降了。所以通过图中的代价函数J(θ)曲线便得知梯度下降算法是否已经收敛至最小值。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 9][]

3.对于每一个特定问题，梯度下降算法所需的迭代次数可能相差会很大。而对于某些问题，可能梯度下降算法只需要30次迭代就可以收敛至最小值。
    			  而对于某些问题，可能梯度下降算法就需要3000次迭代就可以收敛至最小值，而对于有些问题，甚至需要三百万次迭代才可以收敛至最小值。
    			  因此一般很难提前知道梯度下降算法需要迭代多少次才能收敛至最小值。
    			4.画出代价函数J(θ)曲线随迭代次数的增加而代价函数J(θ)值逐渐降低的变化曲线，可通过看这种代价函数J(θ)曲线图来判断梯度下降法是否已经收敛。
    			  或者可以进行一些自动的收敛测试，也就是用一种算法来判断梯度下降算法是否已经收敛。
    			5.下图是自动的收敛测试
    				1.可以用一种收敛测试来判断梯度下降算法是否已经收敛。如果代价函数J(θ)一次迭代后的下降小于一个很小的值10^(-3)，
    				  那么这个测试就判断函数已经收敛。
    				2.通常要选择一个合适的阈值是相当困难的，因此要判断梯度下降算法是否已经收敛，实际上更倾向于通过看代价函数J(θ)曲线图，
    				  而不是依靠自动收敛测试。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 10][]

6.下图画出 代价函数J(θ)随迭代次数的增加而代价函数J(θ)值 并没有降低反而还在上升的变化曲线，证明了梯度下降算法并没有正常工作。
    			  这样的曲线图通常意味着你应该使用较小的学习率a来解决该问题。
    			  	1.比如说如下图代价函数J(θ)值在不断上升，那么最常见原因是便是使用了较大的学习率a。
    					当在尝试最小化下图的曲线函数时，如果一开始所使用的学习率a太大的话，造成的结果便是梯度下降算法可能很容易会直接跨过了最小值，
    					那么每次的迭代便是每次都跨过了最小值并且还在不断上升，将得到越来越糟糕的结果，得到越来越大的代价函数J(θ)值。
    					通常的方法便是使用较小的学习率a值，当然也要确保代码中没有出现问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 11][]

2.比如下图中代价函数J(θ)曲线先下降再上升，接着又下降然后又上升，然后又再次下降再次上升，如此往复。
    				  而解决该问题的办法也是通常选择较小的学习率a值。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 12][]

3.数学家已经证明在代价函数J的基本假设之下，该假设适用于线性回归，只要学习率a足够小，那么每次迭代之后的代价函数J(θ)值都会下降。
    				  因此如果代价函数J(θ)值没有下降的话，那么就可能是学习率a值过大，这时候就应该尝试一个较小的学习率a值。
    				  当然也不希望学习率a值过于太小，因为如果学习率a值过于太小的话，就会造成梯度下降算法的收敛速度就会很慢，
    				  那么便需要迭代很多次才能到达最低点。

![20190608213006154.png][]

4.总结
    					1.如果学习率a过小，可能收敛的速度会很慢，则造成梯度下降算法的迭代次数需要非常多次才能到达最低点。
    					2.如果学习率a过大的话，可能收敛的速度过于太快，则造成代价函数J(θ)值可能不会在每次迭代之后都下降，甚至反而可能在上升，
    					  最终无法收敛。
    					3.如果学习率a过大的话，也可能会出现收敛的速度很慢，但更加常见的是每次迭代之后代价函数J(θ)值都并不会下降。
    					4.解决方法和步骤：
    						1.在运行梯度下降算法时，通常可以尝试一系列学习率a值，比如说每隔10倍取一个值，即0.001->0.01->0.1->1->...等。
    						  然后对于这些不同的学习率a值，绘制代价函数J(θ)随迭代次数不断增加而J(θ)值不断变化的曲线图。
    						  最终选择一个可以使代价函数J(θ)值快速下降的学习率a值。
    						2.事实上，通常并不仅可以是每隔10倍取一个值作为学习率a值，还可以每隔3倍取一个值作为学习率a值.
    						  比如 0.001->0.003->0.01->0.03->0.1->0.3->1->...等。可以这么看，0.001->0.003增加3倍，
    						  0.003->0.01则大约增加3倍多一点，而0.01->0.03又增加3倍，而0.03->0.1则又大约增加3倍多一点，以此类推。
    					5.所以可以尝试一系列学习率a值，那么便可以找到最小值(比如0.001)，再找到另外一个最大值(比如1)，
    					  然后可以取最大值或者比最大值略小一些的比较合理的值，通常这样做便可以为梯度下降算法找到一个合适的学习率a。

[20191009191333910.png]: /images/20220121/dc150da48bd94fecade7efa06f848cc8.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70]: /images/20220121/5bbc6dce918c4a3d81aaedcfcef74f4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 1]: /images/20220121/f0ed021b75c34b3ca020bbeb787d13e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 2]: /images/20220121/8ba97c1f4f08454493208cdedf321ff4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 3]: /images/20220121/84451bfad7754944ae2c612589354656.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 4]: /images/20220121/c2a70498786d450ab8256762aa3f5df3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 5]: /images/20220121/7858b14c31d447be9aad7c0735ac5ec6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 6]: /images/20220121/e57b7aa2321349fa84c4dce7a1b3c070.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 7]: /images/20220121/d2f5cd3fedc8412183accbaef430638f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 8]: /images/20220121/eaa5fb218cc743d18267a2722369225c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 9]: /images/20220121/61f9818d03a546eebaa86d82309fca4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 10]: /images/20220121/987246726f0d458db865d117cf27eb1d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 11]: /images/20220121/859ccfb4478049bc8ca51caf7e0fe3d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 12]: /images/20220121/4c2cd250050649a1ba0fd5faa194b265.png
[20190608213006154.png]: /images/20220121/fa1a1231ed1a4764a21c68373b906d13.png