机器学习——梯度下降法

Love The Way You Lie 2022-10-30 13:29 256阅读 0赞

##### Notation： #####

m=number of training examples

n=number of features

x="input" variables / features

y="output"variable/"target" variable

\\((x^\{(i)\}，y^\{(i)\})\\) = the ith trainging example

\\(h\_\\theta\\) = fitting function

##### 一、梯度下降法（Gradient Descent）（主要） #####

其中\\(h\_\\theta(x)=\\theta\_0+\\theta\_1x\_1+...+\\theta\_nx\_n=\\sum\_\{i=0\}^\{n\}\{\\theta\_ix\_i\}=\\theta^T\\)

假设损失函数为\\(J(\\theta)=\\frac\{1\}\{2\}\\sum\_\{i=1\}^\{m\}\{(h\_\\theta(x)-y)^2\}\\) ， To minimize the \\(J(\\theta)\\)

main idea: Initalize \\(\\theta\\) (may \\(\\theta=\\vec\{0\}\\)) ,then keep changing \\(\\theta\\) to reduce \\(J(\\theta)\\) ,untill minimum

![img][]

Gradient decent:

只有一个样本时,对第i个参数进行更新 \\(\\theta\_i:=\\theta\_i-\\alpha\\frac\{\\partial \}\{\\partial \\theta\_i\}J(\\theta)=\\theta\_i-\\alpha(h\_\\theta(x)-y)x\_i\\)

`Repeat until convergence(收敛):`

`{`

\\(\\theta\_i:=\\theta\_i-\\alpha\\sum\_\{j=1\}^\{m\}(h\_\\theta(x^\{(j)\})-y^\{j\})x\_i^\{(j)\}\\) ，(for every i)

`}`

矩阵描述（简单）：

`Repeat until convergence(收敛):`

`{`

\\(\\theta:=\\theta -\\nabla\_\\theta J\\)

`}`

IF \\(A\\epsilon R^\{n\*n\}\\)

tr(A)=\\(\\sum\_\{i=1\}^nA\_\{ii\}\\) :A的迹

\\(J(\\theta)=\\frac\{1\}\{2\}(X\\theta - \\vec\{y\})^T(X\\theta - \\vec\{y\})\\)

\\(\\nabla\_\\theta J=\\frac\{1\}\{2\}\\nabla\_\\theta (\\theta^TX^TX\\theta-\\theta^TX^Ty-y^Tx\\theta+y^Ty) =X^TX\\theta-X^Ty\\)

**备注**：

当目标函数是凸函数时，梯度下降法的解才是全局最优解

##### 二、随机梯度下降(Stochastic Gradient Descent ) #####

`Repeat until convergence:`

`{`

for j=1 to m\{

\\(\\theta\_i:=\\theta\_i-\\alpha(h\_\\theta(x^\{(j)\})-y^\{j\})x\_i^\{(j)\}\\) ，for every i

`}`

备注：

1.训练速度很快，每次仅仅采用一个样本来迭代；

2.解可能不是最优解，仅仅用一个样本决定梯度方向；

3.不能很快收敛，迭代方向变化很大。

##### 三、mini-batch梯度下降 #####

`Repeat until convergence:`

`{`

for j=1 to m/n\{

\\(\\theta\_i:=\\theta\_i-\\alpha\\sum\_\{j=1\}^\{n\}(h\_\\theta(x^\{(j)\})-y^\{j\})x\_i^\{(j)\}\\) ，for every i

`}`

备注：

机器学习中往往采用该算法

参考地址：

[https://www.cnblogs.com/pinard/p/5970503.html][https_www.cnblogs.com_pinard_p_5970503.html]

[img]: /images/20221024/3ef5b76f004e431b97cb08bd94e3d12b.png
[https_www.cnblogs.com_pinard_p_5970503.html]: https://www.cnblogs.com/pinard/p/5970503.html

机器学习——梯度下降法

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关机器学习梯度下降算法

相关机器学习(二)梯度下降

相关机器学习--梯度下降法（Gradient Descent）

相关机器学习_梯度下降法一维函数

相关机器学习_线性回归梯度下降法求解

相关机器学习——梯度下降法

相关机器学习3——梯度下降法剖析

相关机器学习一（梯度下降法）

相关机器学习中的梯度下降法

相关机器学习算法------梯度下降法