黑塞矩阵（Hessian Matrix）

╰+攻爆jí腚メ 2022-06-04 09:42 308阅读 0赞

转载自http://blog.csdn.net/caimouse/article/details/60465975，仅用作个人学习。如需删除，请见谅并联系本人。为了不分原创浏览量，本人自己踩此文一下。

在机器学习课程里提到了这个矩阵，那么这个矩阵是从哪里来，又是用来作什么用呢?先来看一下定义：

黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题。

![Center][]

一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.

在机器学习里，可以考虑采用它来计算n值比较少的数据，在图像处理里，可以抽取图像特征，在金融里可以用来作量化分析。

图像处理可以看这个连接：

[http://blog.csdn.net/jia20003/article/details/16874237][http_blog.csdn.net_jia20003_article_details_16874237]

量化分析可以看这个：

[http://ookiddy.iteye.com/blog/2204127][http_ookiddy.iteye.com_blog_2204127]

下面使用TensorFlow并且使用黑塞矩阵来求解下面的方程：

![Center 1][]

代码如下：

**\[python\]** [view plain][] [copy][view plain]

[print][view plain] [?][view plain]

1.  \#python 3.5.3 蔡军生 
2.  \#http://edu.csdn.net/course/detail/2592 
3.  \# 
4.  **import** tensorflow as tf 
5.  **import** numpy as np 
6.  
7.  **def** cons(x): 
8.  **return** tf.constant(x, dtype=tf.float32) 
9.  **def** compute\_hessian(fn, vars): 
10.  mat = \[\] 
11. **for** v1 **in** vars: 
12.  temp = \[\] 
13. **for** v2 **in** vars: 
14. \# computing derivative twice, first w.r.t v2 and then w.r.t v1
15.  temp.append(tf.gradients(tf.gradients(f, v2)\[0\], v1)\[0\]) 
16.  temp = \[cons(0) **if** t == None**else** t **for** t **in** temp\] \# tensorflow returns None when there is no gradient, so we replace None with 0
17.  temp = tf.stack(temp) 
18.  mat.append(temp) 
19.  mat = tf.stack(mat) 
20. **return** mat 
21. 
22. 
23. x = tf.Variable(np.random.random\_sample(), dtype=tf.float32) 
24. y = tf.Variable(np.random.random\_sample(), dtype=tf.float32) 
25. 
26. 
27. f = tf.pow(x, cons(2)) + cons(2) \* x \* y + cons(3) \* tf.pow(y, cons(2)) + cons(4)\* x + cons(5) \* y + cons(6) 
28. \# arg1: our defined function, arg2: list of tf variables associated with the function
29. hessian = compute\_hessian(f, \[x, y\]) 
30. 
31. sess = tf.Session() 
32. sess.run(tf.global\_variables\_initializer()) 
33. **print**(sess.run(hessian))

输出结果如下：

![Center 2][]

再来举多一个例子的源码，它就是用来计算量化分析，这个代码很值钱啊，如下：

**\[python\]** [view plain][] [copy][view plain]

[print][view plain] [?][view plain]

1.  \#python 3.5.3 蔡军生 
2.  \#http://edu.csdn.net/course/detail/2592 
3.  \# 
4.  **import** numpy as np 
5.  **import** scipy.stats as stats 
6.  **import** scipy.optimize as opt 
7.  
8.  \#构造Hessian矩阵
9.  **def** rosen\_hess(x): 
10.  x = np.asarray(x) 
11.  H = np.diag(-400\*x\[:-1\],1) - np.diag(400\*x\[:-1\],-1) 
12.  diagonal = np.zeros\_like(x) 
13.  diagonal\[0\] = 1200\*x\[0\]\*\*2\-400\*x\[1\]+2
14.  diagonal\[-1\] = 200
15.  diagonal\[1:-1\] = 202 \+ 1200\*x\[1:-1\]\*\*2 \- 400\*x\[2:\] 
16.  H = H + np.diag(diagonal) 
17. **return** H 
18. **def** rosen(x): 
19. """The Rosenbrock function"""
20. **return** sum(100.0\*(x\[1:\]-x\[:-1\]\*\*2.0)\*\*2.0 \+ (1\-x\[:-1\])\*\*2.0) 
21. **def** rosen\_der(x): 
22.  xm = x\[1:-1\] 
23.  xm\_m1 = x\[:-2\] 
24.  xm\_p1 = x\[2:\] 
25.  der = np.zeros\_like(x) 
26.  der\[1:-1\] = 200\*(xm-xm\_m1\*\*2) - 400\*(xm\_p1 - xm\*\*2)\*xm - 2\*(1\-xm) 
27.  der\[0\] = -400\*x\[0\]\*(x\[1\]-x\[0\]\*\*2) - 2\*(1\-x\[0\]) 
28.  der\[-1\] = 200\*(x\[-1\]-x\[-2\]\*\*2) 
29. **return** der 
30. 
31. x\_0 = np.array(\[0.5, 1.6, 1.1, 0.8, 1.2\]) 
32. 
33. res = opt.minimize(rosen, x\_0, method='Newton-CG', jac=rosen\_der, hess=rosen\_hess, 
34.  options=\{ 'xtol': 1e\-8, 'disp': True\}) 
35. **print**("Result of minimizing Rosenbrock function via Newton-Conjugate-Gradient algorithm (Hessian):") 
36. **print**(res)

输出结果如下：

====================== RESTART: D:/AI/sample/tf\_1.43.py ======================  
Optimization terminated successfully.  
Current function value: 0.000000  
Iterations: 20  
Function evaluations: 22  
Gradient evaluations: 41  
Hessian evaluations: 20  
Result of minimizing Rosenbrock function via Newton-Conjugate-Gradient algorithm (Hessian):  
fun: 1.47606641102778e-19  
jac: array(\[ -3.62847530e-11, 2.68148992e-09, 1.16637362e-08,  
4.81693414e-08, -2.76999090e-08\])  
message: 'Optimization terminated successfully.'  
nfev: 22  
nhev: 20  
nit: 20  
njev: 41  
status: 0  
success: True  
x: array(\[ 1., 1., 1., 1., 1.\])  
>>>

可见hessian矩阵可以使用在很多地方了吧。

### 1. C++标准模板库从入门到精通    ###

###  ###

### [http://edu.csdn.net/course/detail/3324][http_edu.csdn.net_course_detail_3324] ###

### 2.跟老菜鸟学C++    ###

[http://edu.csdn.net/course/detail/2901][http_edu.csdn.net_course_detail_2901]

### 3. 跟老菜鸟学python ###

[http://edu.csdn.net/course/detail/2592][http_edu.csdn.net_course_detail_2592]

### 4. 在VC2015里学会使用tinyxml库 ###

[http://edu.csdn.net/course/detail/2590][http_edu.csdn.net_course_detail_2590]

### 5. 在Windows下SVN的版本管理与实战 ###

###  [http://edu.csdn.net/course/detail/2579][http_edu.csdn.net_course_detail_2579] ###

### 6.Visual Studio 2015开发C++程序的基本使用 ###

### [http://edu.csdn.net/course/detail/2570][http_edu.csdn.net_course_detail_2570] ###

### 7.在VC2015里使用protobuf协议 ###

[http://edu.csdn.net/course/detail/2582][http_edu.csdn.net_course_detail_2582]

### 8.在VC2015里学会使用MySQL数据库    ###

[http://edu.csdn.net/course/detail/2672][http_edu.csdn.net_course_detail_2672]

可以看更多的网站：

http://blog.csdn.net/ubunfans/article/details/41520047

http://blog.csdn.net/baimafujinji/article/details/51167852

http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/

http://www.cnblogs.com/logosxxw/p/4651413.html

[Center]: /images/20220604/2f251f98993d46aead2d2a8d0d4a9473.png
[http_blog.csdn.net_jia20003_article_details_16874237]: http://blog.csdn.net/jia20003/article/details/16874237
[http_ookiddy.iteye.com_blog_2204127]: http://ookiddy.iteye.com/blog/2204127
[Center 1]: /images/20220604/20d2cec70188492cb325358c705d03cc.png
[view plain]: http://blog.csdn.net/caimouse/article/details/60465975#
[Center 2]: /images/20220604/c9f744a434834467b5baf822e83e88fa.png
[http_edu.csdn.net_course_detail_3324]: http://edu.csdn.net/course/detail/3324
[http_edu.csdn.net_course_detail_2901]: http://edu.csdn.net/course/detail/2901
[http_edu.csdn.net_course_detail_2592]: http://edu.csdn.net/course/detail/2592
[http_edu.csdn.net_course_detail_2590]: http://edu.csdn.net/course/detail/2590
[http_edu.csdn.net_course_detail_2579]: http://edu.csdn.net/course/detail/2579
[http_edu.csdn.net_course_detail_2570]: http://edu.csdn.net/course/detail/2570
[http_edu.csdn.net_course_detail_2582]: http://edu.csdn.net/course/detail/2582
[http_edu.csdn.net_course_detail_2672]: http://edu.csdn.net/course/detail/2672