梯度下降法、坐标下降法、牛顿迭代法

淡淡的烟草味﹌ 2022-06-05 08:00 406阅读 0赞

## 1 梯度下降法 ##

![20161109160021419][]

## 2 坐标下降法 ##

1.首先给定一个初始点，如 X\_0=(x1,x2,…,xn);   
2.for x\_i=1:n   
固定除x\_i以外的其他维度   
以x\_i为自变量，求取使得f取得最小值的x\_i；   
end   
3. 循环执行步骤2，直到f的值不再变化或变化很小.

## 3 牛顿迭代法 ##

牛顿迭代法（Newton’s method）又称为牛顿-拉夫逊方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。   
把f(x）在x0点附近展开成泰勒级数 f(x) = f(x0)+(x－x0)f’(x0)+(x－x0)^2\*f”(x0)/2! +… 取其线性部分，作为非线性方程f(x) = 0的近似方程，即泰勒展开的前两项，则有f(x0)+f’(x0)(x－x0)=0 设f’(x0）≠0则其解为x1=x0－f(x0)/f’(x0) 这样，得到牛顿法的一个迭代序列：x(n+1）=x(n）－f(x(n))/f’(x(n)）。

## 4 最小二乘法与梯度下降法区别 ##

最小二乘是构建目标函数中的一种方法；   
梯度下降是求解最优目标函数中的一种方法。

对于变量个数为2-3个的目标函数，可以直接用方程组的方式求解出来，这也就是我们常见的狭义上的最小二乘法。   
对于变量个数多个的目标函数，这时，狭义的最小二乘法就难以胜任，而用梯度下降法求解就容易多了。

## 附录 ##

梯度下降法matlab示例：

function [k ender]=steepest(f,x,e)
        %梯度下降法,f为目标函数（两变量x1和x2），x为初始点,如[0;0]
        syms x1 x2 m; %m为学习率
        d=-[diff(f,x1);diff(f,x2)];  %分别求x1和x2的偏导数，即下降的方向
        flag=1;  %循环标志
        k=0; %迭代次数
        while(flag)
            d_temp=subs(d,x1,x(1));      %将起始点代入，求得当次下降x1梯度值
            d_temp=subs(d_temp,x2,x(2)); %将起始点代入，求得当次下降x2梯度值
            nor=norm(d_temp); %范数
            if(nor>=e) %梯度为0，说明达到极小点
                x_temp=x+m*d_temp;            %改变初始点x的值
                f_temp=subs(f,x1,x_temp(1));  %将改变后的x1和x2代入目标函数
                f_temp=subs(f_temp,x2,x_temp(2));
                h=diff(f_temp,m);  %对m求导，找出最佳学习率
                m_temp=solve(h);   %求方程，得到当次m
                x=x+m_temp*d_temp; %更新起始点x
                k=k+1;
            else
                flag=0;
            end
        end
        ender=double(x);  %终点
    end
     
      
       1
       2
       3
       4
       5
       6
       7
       8
       9
       10
       11
       12
       13
       14
       15
       16
       17
       18
       19
       20
       21
       22
       23
       24

调用函数：

syms x1 x2;
    f=(x1-1)^2+2*(x2-2)^2+x1;
    x=[3;0];
    e=10^(-20);
    [k ender]=steepest(f,x,e)

原文地址：http://blog.csdn.net/zkq\_1986/article/details/52317258

[20161109160021419]: /images/20220605/b3a058d504af42ed86042756446e1bf2.png