矩陣微分

函數(shù)對(duì)于變量的微分在高等數(shù)學(xué)里面講的比較多，而矩陣微分在我印象中沒有在高等代數(shù)中講解。矩陣微分也是很常用的一個(gè)數(shù)學(xué)工具，我最早是在一門研究生課程“優(yōu)化設(shè)計(jì)”中接觸到，優(yōu)化問題中的一個(gè)重要概念--梯度，其定義便是向量的微分形式，在求解優(yōu)化問題時(shí)也大量的用到了矩陣的微分（包括向量的微分）。

在求解線性方程組的過(guò)程中，有一種迭代算法是源于最優(yōu)化問題，叫做共軛梯度法（conjugate gradient method）也涉及到了很多的向量微分，當(dāng)時(shí)讓我很頭疼，對(duì)于這個(gè)算法的原理我也沒有搞清楚，只是按照偽代碼去進(jìn)行實(shí)現(xiàn)了。這兩天抽空在網(wǎng)上看了下資料^[1]，說(shuō)說(shuō)我自己的理解。

• 先看看向量對(duì)于數(shù)量微分：

　　　　（1）　

　　即向量關(guān)于數(shù)量的微分是每個(gè)維度上的分量關(guān)于數(shù)量微分組成的向量，微分前后維度不變。

　　將向量相對(duì)于數(shù)量微分推廣到二維，矩陣相對(duì)于數(shù)量的微分，微分前后的維度不變：

　　　　（2）

　　下面是一些矩陣對(duì)于數(shù)量微分的性質(zhì)，比較容易理解：

　　　　（3）

• 再是數(shù)量對(duì)于向量的微分：

　　　　（4）

　　上式中數(shù)量經(jīng)過(guò)對(duì)向量的微分后在向量所在的維度上被展開了，展開之后在所有的維度上都有一個(gè)數(shù)量關(guān)于數(shù)量的微分，這些微分再組成一個(gè)向量構(gòu)成了　　　　　　　　最后的結(jié)果。

　　再將數(shù)量推廣到一維向量

　　　　（5）

　　上式中我們看到，向量經(jīng)過(guò)對(duì)向量微分后，相當(dāng)于的每一個(gè)維度對(duì)進(jìn)行微分，于是微分的結(jié)果是m維向量的每一個(gè)維度都被展開成一個(gè)n維向量，這就是一個(gè)m×n的矩陣。

　　繼續(xù)往下推廣將之前的向量替換為矩陣，再對(duì)向量微分那么結(jié)果是什么呢？大家可以試著想象一下，結(jié)果會(huì)變成三維矩陣。

　　再講講性質(zhì)：

　　　　（6）

　　前面兩條顯而易見，需要注意的是第三條，在計(jì)算的過(guò)程中如果沒有注意，很容易出錯(cuò)，其中等號(hào)右邊第二項(xiàng)作微分的時(shí)候a與b都作了轉(zhuǎn)置，而且相乘的順序也與等號(hào)左邊反過(guò)來(lái)了。

　　最后還有一個(gè)重要的性質(zhì)

　　　　（7）

?

---

?

　　到這里講了一些基本的矩陣微分的定義與一些性質(zhì)，下面我們以最小二乘問題為例子來(lái)看看矩陣微分的實(shí)際應(yīng)用。

　　最小二乘問題就是多方程組求解少量未知數(shù)的問題，模型如下：

　　（其中y,x是向量，為了簡(jiǎn)化沒有加上箭頭）

　　其中已知量y為m行向量，A為m×n的矩陣，未知量x為n行向量（m>n）。由于未知量個(gè)數(shù)小于方程個(gè)數(shù)，方程組無(wú)精確解。那么既然找不到精確解，我們只能矮子里面拔將軍，從所有的可行解中找到最最接近方程的解。從幾何上說(shuō)最小二乘問題可理解為尋找向量y在超平面A上的投影，從代數(shù)上說(shuō)我們要找到使得值最小的解（其實(shí)這也變成了一個(gè)最優(yōu)化問題）。

　　下面我們分析，當(dāng)它取到值極小值時(shí)，其關(guān)于向量x的導(dǎo)數(shù)應(yīng)該為0。于是我們得到

　　　　（8）

　　矩陣乘法展開，根據(jù)式（6）有

　　　　（9）

　　由于y,A為已知量與x無(wú)關(guān)，它們關(guān)于x的微分為0。再根據(jù)乘法微分公式，即式（6）中的第三條（注意轉(zhuǎn)置與乘法順序），展開得到

　　　　（10)

　　根據(jù)式（7），化簡(jiǎn)得到

　　　　(11)

　　上式是我們得到的結(jié)果，這已經(jīng)轉(zhuǎn)換為一個(gè)線性方程組求解的問題。

　　這樣我們通過(guò)矩陣微分的計(jì)算將最小二乘最優(yōu)化問題簡(jiǎn)化成了線性方程組求解問題，這種求解最小二乘問題的方法叫做法方程法（normal equation method^[2])，之所以叫做法方程法是因?yàn)閺膸缀紊侠斫馕覀兺ㄟ^(guò)尋找超平面A的正交方向即法方向從而獲得了最小二乘解，這是求解最小二乘問題最常用、最快速的方法。

　　　　

?

[1].http://wenku.baidu.com/link?url=TdIEytCM-IX6T476uhNSjf6-OutpwcldshCzo22VleP-b66rf4egRcE6bwoNxwe0d7pqjIW_MzrVgx8pIyOrjf_8uUwlh3jMQ7owoI1_FRa

[2].http://mathworld.wolfram.com/NormalEquation.html

轉(zhuǎn)載于:https://www.cnblogs.com/zhangcong2009/p/3498900.html

總結(jié)

以上是生活随笔為你收集整理的[计算数学基础]矩阵微分的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。