點(diǎn)擊上方“Datawhale”，選擇“星標(biāo)”公眾號(hào)

第一時(shí)間獲取價(jià)值內(nèi)容

矩陣求導(dǎo)的技術(shù)，在統(tǒng)計(jì)學(xué)、控制論、機(jī)器學(xué)習(xí)等領(lǐng)域有廣泛的應(yīng)用。鑒于我看過(guò)的一些資料或言之不詳、或繁亂無(wú)緒，本文來(lái)做個(gè)科普，分作兩篇，上篇講標(biāo)量對(duì)矩陣的求導(dǎo)術(shù)，下篇講矩陣對(duì)矩陣的求導(dǎo)術(shù)。本文使用小寫字母x表示標(biāo)量，粗體小寫字母?表示向量，大寫字母X表示矩陣。

首先來(lái)琢磨一下定義，標(biāo)量f對(duì)矩陣X的導(dǎo)數(shù)，定義為，即f對(duì)X逐元素求導(dǎo)排成與X尺寸相同的矩陣。然而，這個(gè)定義在計(jì)算中并不好用，實(shí)用上的原因是在對(duì)較復(fù)雜的函數(shù)難以逐元素求導(dǎo)；哲理上的原因是逐元素求導(dǎo)破壞了整體性。試想，為何要將f看做矩陣X而不是各元素的函數(shù)呢？答案是用矩陣運(yùn)算更整潔。所以在求導(dǎo)時(shí)不宜拆開矩陣，而是要找一個(gè)從整體出發(fā)的算法。

為此，我們來(lái)回顧，一元微積分中的導(dǎo)數(shù)（標(biāo)量對(duì)標(biāo)量的導(dǎo)數(shù)）與微分有聯(lián)系：；多元微積分中的梯度（標(biāo)量對(duì)向量的導(dǎo)數(shù)）也與微分有聯(lián)系：?，這里第一個(gè)等號(hào)是全微分公式，第二個(gè)等號(hào)表達(dá)了梯度與微分的聯(lián)系；受此啟發(fā)，我們將矩陣導(dǎo)數(shù)與微分建立聯(lián)系：?，這里tr代表跡(trace)是方陣對(duì)角線元素之和，滿足性質(zhì)：對(duì)尺寸相同的矩陣A,B，，即是矩陣A,B的內(nèi)積，因此上式與原定義相容。

然后來(lái)建立運(yùn)算法則。回想遇到較復(fù)雜的一元函數(shù)如，我們是如何求導(dǎo)的呢？通常不是從定義開始求極限，而是先建立了初等函數(shù)求導(dǎo)和四則運(yùn)算、復(fù)合等法則，再來(lái)運(yùn)用這些法則。故而，我們來(lái)創(chuàng)立常用的矩陣微分的運(yùn)算法則：

加減法：；矩陣乘法：?；轉(zhuǎn)置：；跡：。

逆：。此式可在兩側(cè)求微分來(lái)證明。

行列式：?，其中表示X的伴隨矩陣，在X可逆時(shí)又可以寫作。此式可用Laplace展開來(lái)證明，詳見(jiàn)張賢達(dá)《矩陣分析與應(yīng)用》第279頁(yè)。

逐元素乘法：，表示尺寸相同的矩陣X,Y逐元素相乘。

逐元素函數(shù)：?，是逐元素運(yùn)算的標(biāo)量函數(shù)。

我們?cè)噲D利用矩陣導(dǎo)數(shù)與微分的聯(lián)系?，在求出左側(cè)的微分df后，該如何寫成右側(cè)的形式并得到導(dǎo)數(shù)呢？這需要一些跡技巧(trace trick)：

標(biāo)量套上跡：

轉(zhuǎn)置：。

線性：。

矩陣乘法交換：。兩側(cè)都等于。

矩陣乘法/逐元素乘法交換：。兩側(cè)都等于。

觀察一下可以斷言，若標(biāo)量函數(shù)f是矩陣X經(jīng)加減乘法、行列式、逆、逐元素函數(shù)等運(yùn)算構(gòu)成，則使用相應(yīng)的運(yùn)算法則對(duì)f求微分，再使用跡技巧給df套上跡并將其它項(xiàng)交換至dX左側(cè)，即能得到導(dǎo)數(shù)。

在建立法則的最后，來(lái)談一談復(fù)合：假設(shè)已求得，而Y是X的函數(shù)，如何求呢？在微積分中有標(biāo)量求導(dǎo)的鏈?zhǔn)椒▌t，但這里我們不能隨意沿用標(biāo)量的鏈?zhǔn)椒▌t，因?yàn)榫仃噷?duì)矩陣的導(dǎo)數(shù)截至目前仍是未定義的。于是我們繼續(xù)追本溯源，鏈?zhǔn)椒▌t是從何而來(lái)？源頭仍然是微分。我們直接從微分入手建立復(fù)合法則：先寫出，再將dY用dX表示出來(lái)代入，并使用跡技巧將其他項(xiàng)交換至dX左側(cè)，即可得到。

接下來(lái)演示一些算例。特別提醒要依據(jù)已經(jīng)建立的運(yùn)算法則來(lái)計(jì)算，不能隨意套用微積分中標(biāo)量導(dǎo)數(shù)的結(jié)論，比如認(rèn)為AX對(duì)X的導(dǎo)數(shù)為A，這是沒(méi)有根據(jù)、意義不明的。

例1：，求。

解：先使用矩陣乘法法則求微分：?，再套上跡并做交換：，對(duì)照導(dǎo)數(shù)與微分的聯(lián)系，得到。

注意：這里不能用，導(dǎo)數(shù)與乘常數(shù)矩陣的交換是不合法則的運(yùn)算（而微分是合法的）。有些資料在計(jì)算矩陣導(dǎo)數(shù)時(shí)，會(huì)略過(guò)求微分這一步，這是邏輯上解釋不通的。

例2【線性回歸】：，求。

解：嚴(yán)格來(lái)說(shuō)這是標(biāo)量對(duì)向量的導(dǎo)數(shù)，不過(guò)可以把向量看做矩陣的特例。將向量范數(shù)寫成，求微分，使用矩陣乘法、轉(zhuǎn)置等法則：。對(duì)照導(dǎo)數(shù)與微分的聯(lián)系，得到。

例3【多元logistic回歸】：，求。其中是除一個(gè)元素為1外其它元素為0的向量；，其中表示逐元素求指數(shù)，代表全1向量。

解1：首先將softmax函數(shù)代入并寫成，這里要注意逐元素log滿足等式，以及滿足。求微分，使用矩陣乘法、逐元素函數(shù)等法則：。再套上跡并做交換，注意可化簡(jiǎn)，這是根據(jù)等式，故。對(duì)照導(dǎo)數(shù)與微分的聯(lián)系，得到。

解2：定義，則?，先如上求出?，再利用復(fù)合法則：，得到。

例4【方差的最大似然估計(jì)】：樣本，其中是對(duì)稱正定矩陣，求方差的最大似然估計(jì)。寫成數(shù)學(xué)式是：，求的零點(diǎn)。

解：首先求微分，使用矩陣乘法、行列式、逆等運(yùn)算法則，第一項(xiàng)是，第二項(xiàng)是。再給第二項(xiàng)套上跡做交換：，其中定義為樣本方差。對(duì)照導(dǎo)數(shù)與微分的聯(lián)系，有，其零點(diǎn)即的最大似然估計(jì)為。

最后一例留給經(jīng)典的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的求導(dǎo)術(shù)是學(xué)術(shù)史上的重要成果，還有個(gè)專門的名字叫做BP算法，我相信如今很多人在初次推導(dǎo)BP算法時(shí)也會(huì)頗費(fèi)一番腦筋，事實(shí)上使用矩陣求導(dǎo)術(shù)來(lái)推導(dǎo)并不復(fù)雜。為簡(jiǎn)化起見(jiàn)，我們推導(dǎo)二層神經(jīng)網(wǎng)絡(luò)的BP算法。

例5【二層神經(jīng)網(wǎng)絡(luò)】：，求和。其中是除一個(gè)元素為1外其它元素為0的向量，同例3，是逐元素sigmoid函數(shù)。

解：定義，，，則。在例3中已求出?。使用復(fù)合法則，注意此處,?都是變量：，使用矩陣乘法交換的跡技巧從第一項(xiàng)得到，從第二項(xiàng)得到。接下來(lái)求，繼續(xù)使用復(fù)合法則，并利用矩陣乘法和逐元素乘法交換的跡技巧：，得到。為求，再用一次復(fù)合法則：，得到。

使用小寫字母x表示標(biāo)量，粗體小寫字母?表示列向量，大寫字母X表示矩陣。矩陣對(duì)矩陣的求導(dǎo)采用了向量化的思路，常應(yīng)用于二階方法求解優(yōu)化問(wèn)題。

首先來(lái)琢磨一下定義。矩陣對(duì)矩陣的導(dǎo)數(shù)，需要什么樣的定義？第一，矩陣對(duì)矩陣的導(dǎo)數(shù)應(yīng)包含所有mnpq個(gè)偏導(dǎo)數(shù)，從而不損失信息；第二，導(dǎo)數(shù)與微分有簡(jiǎn)明的聯(lián)系，因?yàn)樵谟?jì)算導(dǎo)數(shù)和應(yīng)用中需要這個(gè)聯(lián)系；第三，導(dǎo)數(shù)有簡(jiǎn)明的從整體出發(fā)的算法。我們先定義向量對(duì)向量的導(dǎo)數(shù)?；再定義矩陣的（按列優(yōu)先）向量化，并定義矩陣F對(duì)矩陣X的導(dǎo)數(shù)。導(dǎo)數(shù)與微分有聯(lián)系。幾點(diǎn)說(shuō)明如下：

按此定義，標(biāo)量對(duì)矩陣的導(dǎo)數(shù)是向量，與上篇的定義不兼容，不過(guò)二者容易相互轉(zhuǎn)換。為避免混淆，用記號(hào)表示上篇定義的矩陣，則有。雖然本篇的技術(shù)可以用于標(biāo)量對(duì)矩陣求導(dǎo)這種特殊情況，但使用上篇中的技術(shù)更方便。讀者可以通過(guò)上篇中的算例試驗(yàn)兩種方法的等價(jià)轉(zhuǎn)換。

標(biāo)量對(duì)矩陣的二階導(dǎo)數(shù)，又稱Hessian矩陣，定義為，是對(duì)稱矩陣。對(duì)向量或矩陣求導(dǎo)都可以得到Hessian矩陣，但從矩陣?f出發(fā)更方便。

，求導(dǎo)時(shí)矩陣被向量化，弊端是這在一定程度破壞了矩陣的結(jié)構(gòu)，會(huì)導(dǎo)致結(jié)果變得形式復(fù)雜；好處是多元微積分中關(guān)于梯度、Hessian矩陣的結(jié)論可以沿用過(guò)來(lái)，只需將矩陣向量化。例如優(yōu)化問(wèn)題中，牛頓法的更新，滿足。

在資料中，矩陣對(duì)矩陣的導(dǎo)數(shù)還有其它定義，比如，它能兼容上篇中的標(biāo)量對(duì)矩陣導(dǎo)數(shù)的定義，但微分與導(dǎo)數(shù)的聯(lián)系（dF等于中每個(gè)子塊分別與dX做內(nèi)積）不夠簡(jiǎn)明，不便于計(jì)算和應(yīng)用。

然后來(lái)建立運(yùn)算法則。仍然要利用導(dǎo)數(shù)與微分的聯(lián)系，求微分的方法與上篇相同，而從微分得到導(dǎo)數(shù)需要一些向量化的技巧：

線性：。

矩陣乘法：，其中表示Kronecker積，與的Kronecker積是。此式證明見(jiàn)張賢達(dá)《矩陣分析與應(yīng)用》第107-108頁(yè)。

轉(zhuǎn)置：，A是矩陣，其中是交換矩陣(commutation matrix)。

逐元素乘法：，其中是用A的元素（按列優(yōu)先）排成的對(duì)角陣。

觀察一下可以斷言，若矩陣函數(shù)F是矩陣X經(jīng)加減乘法、行列式、逆、逐元素函數(shù)等運(yùn)算構(gòu)成，則使用相應(yīng)的運(yùn)算法則對(duì)F求微分，再做向量化并使用技巧將其它項(xiàng)交換至左側(cè)，即能得到導(dǎo)數(shù)。

再談一談復(fù)合：假設(shè)已求得，而Y是X的函數(shù)，如何求呢？從導(dǎo)數(shù)與微分的聯(lián)系入手，?，可以推出鏈?zhǔn)椒▌t。

和標(biāo)量對(duì)矩陣的導(dǎo)數(shù)相比，矩陣對(duì)矩陣的導(dǎo)數(shù)形式更加復(fù)雜，從不同角度出發(fā)常會(huì)得到形式不同的結(jié)果。有一些Kronecker積和交換矩陣相關(guān)的恒等式，可用來(lái)做等價(jià)變形：

。

。

。可以對(duì)求導(dǎo)來(lái)證明，一方面，直接求導(dǎo)得到；另一方面，引入，有,?，用鏈?zhǔn)椒▌t得到。

。

，A是m×n矩陣，B是p×q矩陣。可以對(duì)做向量化來(lái)證明，一方面，；另一方面，。

接下來(lái)演示一些算例。

例1：，是矩陣，求。

解：先求微分：，再做向量化，使用矩陣乘法的技巧，注意在dX右側(cè)添加單位陣：，對(duì)照導(dǎo)數(shù)與微分的聯(lián)系得到。

特例：如果退化為向量，??，則根據(jù)向量的導(dǎo)數(shù)與微分的關(guān)系?，得到??。

例2：?，是矩陣，求和。

解：使用上篇中的技術(shù)可求得?。為求，先求微分：，再做向量化，使用轉(zhuǎn)置和矩陣乘法的技巧，對(duì)照導(dǎo)數(shù)與微分的聯(lián)系，得到，注意它是對(duì)稱矩陣。在X是對(duì)稱矩陣時(shí)，可簡(jiǎn)化為。

例3：，是，是，是矩陣，為逐元素函數(shù)，求。

解：先求微分：，再做向量化，使用矩陣乘法的技巧：，再用逐元素乘法的技巧：，再用矩陣乘法的技巧：，對(duì)照導(dǎo)數(shù)與微分的聯(lián)系得到。

例4【一元logistic回歸】：

。其中是取值0或1的標(biāo)量，,是向量。

解：使用上篇中的技術(shù)可求得，其中為sigmoid函數(shù)。為求，先求微分：?，其中為sigmoid函數(shù)的導(dǎo)數(shù)，對(duì)照導(dǎo)數(shù)與微分的聯(lián)系，得到。

推廣：樣本,?,?，，求和。有兩種方法，方法一：先對(duì)每個(gè)樣本求導(dǎo)，然后相加；方法二：定義矩陣，向量，將l寫成矩陣形式，進(jìn)而可以求得。

例5【多元logistic回歸】：，求和?。

解：上篇例3中已求得。為求，先求微分：定義，，這里需要化簡(jiǎn)去掉逐元素乘法，第一項(xiàng)中?，第二項(xiàng)中，故有，其中?，代入有，做向量化并使用矩陣乘法的技巧，得到。

最后做個(gè)總結(jié)。我們發(fā)展了從整體出發(fā)的矩陣求導(dǎo)的技術(shù)，導(dǎo)數(shù)與微分的聯(lián)系是計(jì)算的樞紐，標(biāo)量對(duì)矩陣的導(dǎo)數(shù)與微分的聯(lián)系是，先對(duì)f求微分，再使用跡技巧可求得導(dǎo)數(shù)，特別地，標(biāo)量對(duì)向量的導(dǎo)數(shù)與微分的聯(lián)系是；矩陣對(duì)矩陣的導(dǎo)數(shù)與微分的聯(lián)系是，先對(duì)F求微分，再使用向量化的技巧可求得導(dǎo)數(shù)，特別地，向量對(duì)向量的導(dǎo)數(shù)與微分的聯(lián)系是。

參考資料：

張賢達(dá). 矩陣分析與應(yīng)用. 清華大學(xué)出版社有限公司, 2004.

Fackler, Paul L. "Notes on matrix calculus." North Carolina State University(2005).

Petersen, Kaare Brandt, and Michael Syskind Pedersen. "The matrix cookbook." Technical University of Denmark 7 (2008): 15.

HU, Pili. "Matrix Calculus: Derivation and Simple Application." (2012).

往期精彩回顧 那些年做的學(xué)術(shù)公益-你不是一個(gè)人在戰(zhàn)斗適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊(cè)備注：加入本站微信群或者qq群，請(qǐng)回復(fù)“加群”加入知識(shí)星球（4400+用戶，ID：92416895），請(qǐng)回復(fù)“知識(shí)星球”

總結(jié)

以上是生活随笔為你收集整理的矩阵求导术（上、下）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。