最优化理论·光滑函数·Hessian矩阵·Jacobian矩阵·方向导数

谁践踏了优雅 2021-07-16 13:30 1490阅读 0赞

# 最优化理论·光滑函数·Hessian矩阵·Jacobian矩阵·方向导数 #

标签（空格分隔）： 数学

--------------------

*  最优化理论光滑函数Hessian矩阵Jacobian矩阵方向导数
 *  光滑函数
 *  梯度向量Jacobian矩阵和Hessian矩阵
    
     *  1 梯度向量
     *  2 Jacobian矩阵
     *  3 梯度向量和Jacobi矩阵的关系
     *  4 Hessian矩阵
 *  方向导数
    
     *  1 一阶方向导数如何计算
     *  2 二阶方向导数如何计算
 *  内积

# 1.光滑函数 #

*  smooth function: 光滑函数
 *  最优化中提到的光滑函数f(x)是指C1函数（一阶光滑），即f(x)本身是连续的（任何位置都没有breaks），并且，它的导函数也是连续的（原函数f(x)在任何位置都没有abrupt bends）
 *  下面的函数为非光滑函数，它虽然是连续的，但它在x=0处具有abrupt bends，它的一阶导数不是连续的  
    ![image\_1b2i41npd1c5d1emvtjd1p1urd51t.png-9.8kB][image_1b2i41npd1c5d1emvtjd1p1urd51t.png-9.8kB]
 *  下面是一个C1函数的例子  
    
    
     *  函数f(x)=x|x|  
        ![image\_1b2hu17j31l9onldvbd1j721tss9.png-6.8kB][image_1b2hu17j31l9onldvbd1j721tss9.png-6.8kB]
     *  函数f(x)=x|x|的导函数|x|，可见，它是连续函数，所以，函数f(x)=x|x|是C1函数  
        ![image\_1b2hu2g3o1d8s13q011e0pin1q1dm.png-8.2kB][image_1b2hu2g3o1d8s13q011e0pin1q1dm.png-8.2kB]
     *  继续对上面的一阶导函数求导函数，得到如下结果，此时的导函数不再连续了（它其实是原函数的二阶导函数），也就是说，原函数仅仅是C1函数，而不是C2函数  
        ![image\_1b2hu79msd2d7l1fto1gf1q9g13.png-3.9kB][image_1b2hu79msd2d7l1fto1gf1q9g13.png-3.9kB]
     *  综上，函数f(x)=x|x|是一阶光滑函数（一阶导函数连续，而更高阶导函数不再连续）
 *  下面是一个C∞的例子（任意阶光滑 ）：f(x)=x3  
    
    
     *  原函数  
        ![image\_1b2i2tcth1mv21cja1og93b110uu9.png-8.6kB][image_1b2i2tcth1mv21cja1og93b110uu9.png-8.6kB]
     *  一阶导函数，连续  
        ![image\_1b2i2tual1d6pbdk38p10qh15j7m.png-6.4kB][image_1b2i2tual1d6pbdk38p10qh15j7m.png-6.4kB]
     *  二阶导函数，连续  
        ![image\_1b2i2ui4t4qrg0opgh14ng1npj13.png-3.9kB][image_1b2i2ui4t4qrg0opgh14ng1npj13.png-3.9kB]
     *  三阶导函数，取值为0，同样连续  
        ![image\_1b2i2vbrunlke421rf9hgm1aal1g.png-3.7kB][image_1b2i2vbrunlke421rf9hgm1aal1g.png-3.7kB]
     *  其他各阶导函数，都为0，连续，所以，f(x)=x3为无穷多阶光滑

**Refernece**

\[1\][What is a smooth function? And why is it important?][What is a smooth function_ And why is it important]  
\[2\][Smooth vs. Non-smooth Functions][]  
\[3\]![image\_1b2i43bvghudrr513p6ir71dt42a.png-82.8kB][image_1b2i43bvghudrr513p6ir71dt42a.png-82.8kB]

# 2 梯度向量、Jacobian矩阵和Hessian矩阵 #

这里讨论的三个概念：梯度向量、Jacobian矩阵和Hessian矩阵

*  它的自变量：x=(x1,x2,⋯,xn)T
 *  因变量有两种情况：  
    
    
     *  一维f(x)：  
        
        
         *  此时的一阶导数构成的向量为**梯度向量**g(x)
         *  二阶导数构成的矩阵为**Hessian矩阵**
     *  多维f(x)=(f1(x),f2(x),⋯,fm(x))T：  
        
        
         *  此时的一阶导数构成的矩阵为**Jacobian矩阵**

--------------------

## 2.1 梯度向量 ##

> 即目标函数f为单变量，它是关于自变量向量x=(x1,x2,⋯,xn)T的函数，此时，单变量函数f对向量x求梯度，得到的结果为一个与向量x同维度的向量，称之为**梯度向量**

g(x)=▽f(x)=(∂f∂x1,∂f∂x2,⋯,∂f∂xn)T

## 2.2 Jacobian矩阵 ##

> 即目标函数f为一个函数向量，它的每一个元素都是关于自变量向量x=(x1,x2,⋯,xn)T的函数，此时，函数向量f对向量x求梯度，得到的结果为一个矩阵，行数为函数向量f的维度，列数为自变量x的维度，称之为**Jacobian矩阵**

▽f(x)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f1(x)∂x1∂f2(x)∂x1⋯∂fm(x)∂x1∂f1(x)∂x2∂f2(x)∂x2⋯∂fm(x)∂x2⋯⋯⋯⋯∂f1(x)∂xn∂f2(x)∂xn⋯∂fm(x)∂xn ⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥m×n=⎡⎣⎢⎢⎢⎢⎢g1(x)Tg2(x)T⋯gm(x)T⎤⎦⎥⎥⎥⎥⎥

*  它的每一行都是由相应的函数的梯度向量的转置构成的

## 2.3 梯度向量和Jacobi矩阵的关系 ##

> 实际上，梯度向量是Jacobi矩阵的一个特例！
> 
>  *  当目标函数为标量函数时，Jacobi矩阵就是梯度向量

## 2.4 Hessian矩阵 ##

实际上，Hessian矩阵就是梯度向量g(x)对自变量x的Jacobian矩阵：

G(x)=▽x\[g(x)\]=▽x\[(∂f∂x1,∂f∂x2,⋯,∂f∂xn)T\]=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f∂x1x1∂f∂x2x1⋯∂f∂xnx1∂f∂x1x2∂f∂x2x2⋯∂f∂xnx2⋯⋯⋯⋯∂f∂x1xn∂f∂x2xn⋯∂f∂xnxn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

# 3 方向导数 #

> 对于函数f(x)，如何计算它沿方向d的方向导数▽df(x)？  
> ▽df(x)：函数f(x)沿方向d的变化率

## 3.1 一阶方向导数如何计算 ##

▽uf=uT▽f

--------------------

以二元函数z=f(x,y)为例，计算它沿方向u=(u1,u2)T的一阶方向导数！

![image\_1b2skcrecjp01hec8eqngn1g9h9.png-9.5kB][image_1b2skcrecjp01hec8eqngn1g9h9.png-9.5kB]

如下图所示，2D坐标系中有一个以点p0=(x0,y0)为起点的射线u，它的方向为(cosα,cosβ)，那么，射线u的参数方程为：

x=x0\+tcosαy=y0\+tcosβ

函数  z=f(x,y) 在点  p0=(x0,y0) 处沿方向  u 的变化率可以记为：

∂z∂u|(x0,y0)=limt→0\+f(x0\+tcosα,y0\+tcosβ)−f(x0,y0)t

如何推导方向导数的计算公式呢？利用全微分：函数  z=f(x,y) 在点  p0=(x0,y0) 处的全微分为：

f(x0\+tcosα,y0\+tcosβ)−f(x0,y0) =f(x0\+▽x,y0\+▽y)−f(x0,y0) =fx(x0,y0)▽x\+fy(x0,y0)▽y =fx(x0,y0)tcosα\+fy(x0,y0)tcosβ

从而：

∂z∂u|(x0,y0)=limt→0\+f(x0\+tcosα,y0\+tcosβ)−f(x0,y0)t =limt→0\+fx(x0,y0)tcosα\+fy(x0,y0)tcosβt =fx(x0,y0)cosα\+fy(x0,y0)cosβ

## 3.2 二阶方向导数如何计算 ##

▽2uf=uTHu

其中，  H 是函数  f 的hessian阵

--------------------

▽2uf=▽u(uT▽f)=▽u(▽Tf)u=uT▽(▽Tf)u=uTHu

![Second Directional Derivative.pdf-21kB][]

# 4 内积 #

> 内积到底什么意义？  
> The dot product between two vectors is based on the projection of one vector onto another.

向量a和向量b的内积a⋅b除以向量b的长度等于向量a在向量b的方向上的投影的长度

![image\_1b2q96ohsuhs1rq01dcd66mof7m.png-21.8kB][image_1b2q96ohsuhs1rq01dcd66mof7m.png-21.8kB]

[The dot product][]

--------------------

[image_1b2i41npd1c5d1emvtjd1p1urd51t.png-9.8kB]: /images/20210716/ec49ded99817426e8dc2ddc8a65f07e4.png
[image_1b2hu17j31l9onldvbd1j721tss9.png-6.8kB]: /images/20210716/54d8cffd19924ae4aad9b2ed0b8f996d.png
[image_1b2hu2g3o1d8s13q011e0pin1q1dm.png-8.2kB]: /images/20210716/c96cb3955e63486fb9806bc5f563c145.png
[image_1b2hu79msd2d7l1fto1gf1q9g13.png-3.9kB]: /images/20210716/ddb22fadbf9945b9a2dc8b091882b01f.png
[image_1b2i2tcth1mv21cja1og93b110uu9.png-8.6kB]: /images/20210716/26c81d0edf3d4a1e88fbc2fe00448ffb.png
[image_1b2i2tual1d6pbdk38p10qh15j7m.png-6.4kB]: /images/20210716/bef87fa1e4274d3a8244de68ac61f466.png
[image_1b2i2ui4t4qrg0opgh14ng1npj13.png-3.9kB]: /images/20210716/4760e861b2e1498fa893458f5535a0f5.png
[image_1b2i2vbrunlke421rf9hgm1aal1g.png-3.7kB]: /images/20210716/725571cc0d9549168048e25f0e2c9bfc.png
[What is a smooth function_ And why is it important]: https://www.quora.com/What-is-a-smooth-function-And-why-is-it-important
[Smooth vs. Non-smooth Functions]: http://www.lindo.com/doc/online_help/lingo15_0/smooth_vs__non_smooth_functions_.htm
[image_1b2i43bvghudrr513p6ir71dt42a.png-82.8kB]: /images/20210716/d7c3cf86212a45718262e446f78ad216.png
[image_1b2skcrecjp01hec8eqngn1g9h9.png-9.5kB]: /images/20210716/c1219662d1fe4713b167be1249d4339e.png
[Second Directional Derivative.pdf-21kB]: /images/20210716/4481e4bcc4f34989912a55c3d278a092.png
[image_1b2q96ohsuhs1rq01dcd66mof7m.png-21.8kB]: /images/20210716/925fb782ad0147b4b5048ff86e3f6481.png
[The dot product]: http://mathinsight.org/dot_product