矩阵的求导

àì夳堔傛蜴生んèń 2022-06-07 02:36 266阅读 0赞

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。

![261229094735664.png][]

![261224001048648.png][]

x is a column vector, A is a matrix

![0064.png_rev_2.6.1][]![0028.png_rev_2.6.1][]![0041.png_rev_2.6.1][]![2217.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![0029.png_rev_2.6.1][]![002F.png_rev_2.6.1][]![0064.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![003D.png_rev_2.6.1][]![0041.png_rev_2.6.1][] d(A∗x)/dx=A

![0064.png_rev_2.6.1][]![0028.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![0054.png_rev_2.6.1][]![2217.png_rev_2.6.1][]![0041.png_rev_2.6.1][]![0029.png_rev_2.6.1][]![002F.png_rev_2.6.1][]![0064.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![0054.png_rev_2.6.1][]![003D.png_rev_2.6.1][]![0041.png_rev_2.6.1][] d(xT∗A)/dxT=A

![0064.png_rev_2.6.1][]![0028.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![0054.png_rev_2.6.1][]![2217.png_rev_2.6.1][]![0041.png_rev_2.6.1][]![0029.png_rev_2.6.1][]![002F.png_rev_2.6.1][]![0064.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![003D.png_rev_2.6.1][]![0041.png_rev_2.6.1][]![0054.png_rev_2.6.1][] d(xT∗A)/dx=AT

![0064.png_rev_2.6.1][]![0028.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![0054.png_rev_2.6.1][]![2217.png_rev_2.6.1][]![0041.png_rev_2.6.1][]![2217.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![0029.png_rev_2.6.1][]![002F.png_rev_2.6.1][]![0064.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![003D.png_rev_2.6.1][]![0078.png_rev_2.6.1][]![0054.png_rev_2.6.1][]![0028.png_rev_2.6.1][]![0041.png_rev_2.6.1][]![0054.png_rev_2.6.1][]![002B.png_rev_2.6.1][]![0041.png_rev_2.6.1][]![0029.png_rev_2.6.1][] d(xT∗A∗x)/dx=xT(AT+A)

practice:

![261238458939191.png][]

这几天由于用到矩阵求导相关的知识，但是自己没有学过矩阵论(研究生选课的时候，导师没有让选)，于是百度了下，觉得完整的相关资料不多，还好发现了下面的这篇博客，给我了很大的帮助！

仔细分析了下博客中的内容，其实矩阵求导也是挺好理解的(估计是我有较好的MATLAB使用基础吧)，下面看帖吧，哈哈！！

矩阵求导 属于 矩阵计算，应该查找 Matrix Calculus 的文献：

[http://www.psi.toronto.edu/matrix/intro.html\#Intro][http_www.psi.toronto.edu_matrix_intro.html_Intro]

[http://www.psi.toronto.edu/matrix/calculus.html][http_www.psi.toronto.edu_matrix_calculus.html]

[http://www.stanford.edu/~dattorro/matrixcalc.pdf][http_www.stanford.edu_dattorro_matrixcalc.pdf]

[http://www.colorado.edu/engineering/CAS/courses.d/IFEM.d/IFEM.AppD.d/IFEM.AppD.pdf][http_www.colorado.edu_engineering_CAS_courses.d_IFEM.d_IFEM.AppD.d_IFEM.AppD.pdf]

[http://www4.ncsu.edu/~pfackler/MatCalc.pdf][http_www4.ncsu.edu_pfackler_MatCalc.pdf]

[http://center.uvt.nl/staff/magnus/wip12.pdf][http_center.uvt.nl_staff_magnus_wip12.pdf]

在网上看到有人贴了如下求导公式：

Y = A \* X --> DY/DX = A'  
Y = X \* A --> DY/DX = A  
Y = A' \* X \* B --> DY/DX = A \* B'  
Y = A' \* X' \* B --> DY/DX = B \* A'

于是把以前学过的矩阵求导部分整理一下：

1. 矩阵Y对标量x求导：

相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了

Y = \[y(ij)\] --> dY/dx = \[dy(ji)/dx\]

2. 标量y对列向量X求导：

注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量

y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'

3. 行向量Y'对列向量X求导：

注意1×M向量对N×1向量求导后是N×M矩阵。

将Y的每一列对X求偏导，将各列构成一个矩阵。

重要结论：

dX'/dX = I

d(AX)'/dX = A'

4. 列向量Y对行向量X’求导：

转化为行向量Y’对列向量X的导数，然后转置。

注意M×1向量对1×N向量求导结果为M×N矩阵。

dY/dX' = (dY'/dX)'

5. 向量积对列向量X求导运算法则：

注意与标量求导有点不同。

d(UV')/dX = (dU/dX)V' + U(dV'/dX)

d(U'V)/dX = (dU'/dX)V + (dV'/dX)U'

重要结论：

d(X'A)/dX = (dX'/dX)A + (dA/dX)X' = IA + 0X' = A

d(AX)/dX' = (d(X'A')/dX)' = (A')' = A

d(X'AX)/dX = (dX'/dX)AX + (d(AX)'/dX)X = AX + A'X

6. 矩阵Y对列向量X求导：

将Y对X的每一个分量求偏导，构成一个超向量。

注意该向量的每一个元素都是一个矩阵。

7. 矩阵积对列向量求导法则：

d(uV)/dX = (du/dX)V + u(dV/dX)

d(UV)/dX = (dU/dX)V + U(dV/dX)

重要结论：

d(X'A)/dX = (dX'/dX)A + X'(dA/dX) = IA + X'0 = A

8. 标量y对矩阵X的导数：

类似标量y对列向量X的导数，

把y对每个X的元素求偏导，不用转置。

dy/dX = \[ Dy/Dx(ij) \]

重要结论：

y = U'XV = ΣΣu(i)x(ij)v(j) 于是 dy/dX = \[u(i)v(j)\] = UV'

y = U'X'XU 则 dy/dX = 2XUU'

y = (XU-V)'(XU-V) 则 dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' - 2VU' + 0 = 2(XU-V)U'

9. 矩阵Y对矩阵X的导数：

将Y的每个元素对X求导，然后排在一起形成超级矩阵。

10.乘积的导数

d(f\*g)/dx=(df'/dx)g+(dg/dx)f'

结论

d(x'Ax)=(d(x'')/dx)Ax+(d(Ax)/dx)(x'')=Ax+A'x （注意：''是表示两次转置）

![261219153897663.gif][]

![261219289804718.gif][]

![261219434733214.gif][]![261219506129690.gif][]

关于最小二乘问题的求解，之前已有**梯度下降法**，还有比较快速的**牛顿迭代**。今天来介绍一种方法，是基于

**矩阵求导**来计算的，它的计算方式更加简洁高效，不需要大量迭代，只需解一个**正规方程组**。

在开始之前，首先来认识一个概念和一些用到的定理。**矩阵的迹**定义如下

一个![231907522029316.png][]的矩阵![231908306245945.png][]的迹是指![231908537021728.png][]的主对角线上各元素的总和，记作![231910090159784.png][]。即

![231910508747297.png][]

![232010124215390.png][]

![241054579215538.png][]

![241120129051170.png][]

![241126244992179.png][]

好了，有了上述7个定理，就可以来求最小二乘解了。设

![241144510933940.png][]

那么进一步得到

![241150483279404.png][]

接下来会涉及到矩阵求导，因为

![241230506247289.png][]

那么进一步利用矩阵求导并利用上述定理，得到

![241250199523220.png][]

我们知道在极值点处梯度值为零，即

![241252337804434.png][]

上述得到的方程组叫做**正规方程组**，那么最终得到

![241256200776966.png][]

这样最小二乘问题只需解一个线性方程组即可，不再需要像梯度下降那样迭代了。

既然说到了正规方程组，在介绍一种方程组，叫做**超定方程组**，它的定义为：把方程个数大于未知量个数的方

程组叫做**超定方程组**。通常来说，对于一个超定方程组![241305202026721.png][]来说，求最小二乘解只需要两边同时乘![241307424526730.png][]的转

置，然后得到正规方程组![241308414527571.png][]，然后解这个方程就得到了最小二乘解。

[261229094735664.png]: /images/20220607/c30b68ef386a4b90adb7fe35464502f6.png
[261224001048648.png]: /images/20220607/3d3878d629b54adc91f6ca28b58c1b36.png
[0064.png_rev_2.6.1]: http://mathjax.cnblogs.com/2_6_1/fonts/HTML-CSS/TeX/png/Math/Italic/336/0064.png?rev=2.6.1
[0028.png_rev_2.6.1]: http://mathjax.cnblogs.com/2_6_1/fonts/HTML-CSS/TeX/png/Main/Regular/336/0028.png?rev=2.6.1
[0041.png_rev_2.6.1]: /images/20220607/428acaf9eaf141d280977eec92918790.png
[2217.png_rev_2.6.1]: http://mathjax.cnblogs.com/2_6_1/fonts/HTML-CSS/TeX/png/Main/Regular/336/2217.png?rev=2.6.1
[0078.png_rev_2.6.1]: http://mathjax.cnblogs.com/2_6_1/fonts/HTML-CSS/TeX/png/Math/Italic/336/0078.png?rev=2.6.1
[0029.png_rev_2.6.1]: /images/20220607/d63e6e57e5154f6a834aa275e5bab2a8.png
[002F.png_rev_2.6.1]: http://mathjax.cnblogs.com/2_6_1/fonts/HTML-CSS/TeX/png/Main/Regular/336/002F.png?rev=2.6.1
[003D.png_rev_2.6.1]: http://mathjax.cnblogs.com/2_6_1/fonts/HTML-CSS/TeX/png/Main/Regular/336/003D.png?rev=2.6.1
[0054.png_rev_2.6.1]: /images/20220607/42cf6ecac93c44a1850041b6deaa1527.png
[002B.png_rev_2.6.1]: http://mathjax.cnblogs.com/2_6_1/fonts/HTML-CSS/TeX/png/Main/Regular/336/002B.png?rev=2.6.1
[261238458939191.png]: /images/20220607/8dbdae6646ce4e0baa7da5b026ee1e8d.png
[http_www.psi.toronto.edu_matrix_intro.html_Intro]: http://www.psi.toronto.edu/matrix/intro.html#Intro
[http_www.psi.toronto.edu_matrix_calculus.html]: http://www.psi.toronto.edu/matrix/calculus.html
[http_www.stanford.edu_dattorro_matrixcalc.pdf]: http://www.stanford.edu/~dattorro/matrixcalc.pdf
[http_www.colorado.edu_engineering_CAS_courses.d_IFEM.d_IFEM.AppD.d_IFEM.AppD.pdf]: http://www.colorado.edu/engineering/CAS/courses.d/IFEM.d/IFEM.AppD.d/IFEM.AppD.pdf
[http_www4.ncsu.edu_pfackler_MatCalc.pdf]: http://www4.ncsu.edu/~pfackler/MatCalc.pdf
[http_center.uvt.nl_staff_magnus_wip12.pdf]: http://center.uvt.nl/staff/magnus/wip12.pdf
[261219153897663.gif]: /images/20220607/bc3f0037446c4738a8e9dc9762baedf0.png
[261219289804718.gif]: /images/20220607/50e88394fbc8415bad309ff06a2ba1a5.png
[261219434733214.gif]: http://images.cnitblog.com/blog/487468/201402/261219434733214.gif
[261219506129690.gif]: /images/20220607/c4edb3b6607c4640a0325ea1184a75b7.png
[231907522029316.png]: http://images.cnitblog.com/blog/571227/201412/231907522029316.png
[231908306245945.png]: http://images.cnitblog.com/blog/571227/201412/231908306245945.png
[231908537021728.png]: http://images.cnitblog.com/blog/571227/201412/231908537021728.png
[231910090159784.png]: /images/20220607/27dd59cdd4d3416a9d94002a1af16620.png
[231910508747297.png]: /images/20220607/10238bf99c404aeb8c32025f9430dd38.png
[232010124215390.png]: /images/20220607/23303abd023c46ec92154d58b3890405.png
[241054579215538.png]: /images/20220607/889b22bc37114da6add412e8a4b202ed.png
[241120129051170.png]: /images/20220607/8eb0a7f76bbc49e698c30870553f8d6c.png
[241126244992179.png]: /images/20220607/aff2975f255a42718424caa5f9b07ac8.png
[241144510933940.png]: /images/20220607/6ea310e57fb845ec90fb4214b6ed2573.png
[241150483279404.png]: /images/20220607/f096cb2a74964b55849732c6e4fce4d2.png
[241230506247289.png]: /images/20220607/dc801beb9b9b42ad93de8d1d579db290.png
[241250199523220.png]: /images/20220607/2f3812dc5f5d431f89c13878f09f8e08.png
[241252337804434.png]: /images/20220607/a745438e00474b9d84f99805bcc84f6b.png
[241256200776966.png]: /images/20220607/2384b78fcdf34d7eb08869b88fbb11b1.png
[241305202026721.png]: http://images.cnitblog.com/blog/571227/201412/241305202026721.png
[241307424526730.png]: /images/20220607/1c7db4d1496840f480a752fcac3ce46e.png
[241308414527571.png]: /images/20220607/926cba338d6b481fbc7f27487cea846f.png