梯度下降法-2.线性回归中的梯度下降法

痛定思痛。 2023-08-17 16:44 84阅读 0赞

# 多元线性回归中使用梯度下降 #

在多元线性回归中，我们的目标是找到一组\$\\theta=(\\theta\_0,\\theta\_1,\\theta\_2,\\theta \_0,...,\\theta \_n)\$ 使得损失函数：  
\\\[J = \\sum\_\{i=1\}^\{m\}(y^\{(i)\} - \\hat\{y\}^\{(i)\})^2\\\]  
尽可能小。其中 \\\[\\hat y^\{(i)\} = \\theta \_0x^\{(i)\}\_0 + \\theta \_1x^\{(i)\}\_1+ \\theta \_2x^\{(i)\}\_2+...+\\theta \_\{n\}x^\{(i)\}\_n,x^\{(i)\}\_0\\equiv 1 \\\]

![1465169-20190716203853199-1094797559.png][]

多元线性回归的导数\\\[\\Lambda J = (\\frac\{\\partial J\}\{\\partial \\theta \_0\},\\frac\{\\partial J\}\{\\partial \\theta \_1\},\\frac\{\\partial J\}\{\\partial \\theta \_2\},...,\\frac\{\\partial J\}\{\\partial \\theta \_n\})\\\]  
对各个\$\\theta\_i\$求偏导数：  
![1465169-20190716204026655-1961532712.png][]

求出的梯度的值应该和样本m无关，所以给整个式子除于m:  
\\\[\\Lambda J = \\begin\{bmatrix\} \\frac\{\\partial J\}\{\\partial \\theta \_0\} \\\\ \\frac\{\\partial J\}\{\\partial \\theta \_1\} \\\\ \\frac\{\\partial J\}\{\\partial \\theta \_2\} \\\\ ... \\\\ \\frac\{\\partial J\}\{\\partial \\theta \_n\} \\end\{bmatrix\} = \\frac\{2\}\{m\}\\begin\{bmatrix\} \\sum(X^\{(i)\}\_b\\theta - y^\{(i)\}) \\\\ \\sum(X^\{(i)\}\_b\\theta - y^\{(i)\}) \\cdot X\_1^\{(i)\}\\\\ \\sum(X^\{(i)\}\_b\\theta - y^\{(i)\}) \\cdot X\_2^\{(i)\}\\\\ ...\\\\ \\sum(X^\{(i)\}\_b\\theta - y^\{(i)\}) \\cdot X\_n^\{(i)\} \\end\{bmatrix\}\\\]  
所以相应的目标函数应该为：  
\\\[ J = \\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\}(y^\{(i)\} - \\hat\{y\}^\{(i)\})^2 = \\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\}(y^\{(i)\} - X\_b\\cdot \\theta)^2 \\\]  
此式子也是真实值和预测值之间的均方误差 $MSE(y,\\hat y) $

转载于:https://www.cnblogs.com/shuai-long/p/11197363.html

[1465169-20190716203853199-1094797559.png]: /images/20230809/a69fc255fddb4f34a45b9a2b3879517f.png
[1465169-20190716204026655-1961532712.png]: /images/20230809/1794b37888494026a5119644fba85fa9.png