在機(jī)器學(xué)習(xí)中的矩陣向量求導(dǎo)(二) 矩陣向量求導(dǎo)之定義法中，我們討論了定義法求解矩陣向量求導(dǎo)的方法，但是這個(gè)方法對(duì)于比較復(fù)雜的求導(dǎo)式子，中間運(yùn)算會(huì)很復(fù)雜，同時(shí)排列求導(dǎo)出的結(jié)果也很麻煩。因此我們需要其他的一些求導(dǎo)方法。本文我們討論使用微分法來求解標(biāo)量對(duì)向量的求導(dǎo)，以及標(biāo)量對(duì)矩陣的求導(dǎo)。

　　　　本文的標(biāo)量對(duì)向量的求導(dǎo)，以及標(biāo)量對(duì)矩陣的求導(dǎo)使用分母布局。如果遇到其他資料求導(dǎo)結(jié)果不同，請(qǐng)先確認(rèn)布局是否一樣。

1. 矩陣微分

　　　　在高數(shù)里面我們學(xué)習(xí)過標(biāo)量的導(dǎo)數(shù)和微分，他們之間有這樣的關(guān)系：df=f′(x)dxdf=f′(x)dx。如果是多變量的情況，則微分可以寫成：

df=∑i=1n?f?xidxi=(?f?x)Tdxdf=∑i=1n?f?xidxi=(?f?x)Tdx

　　　　從上次我們可以發(fā)現(xiàn)標(biāo)量對(duì)向量的求導(dǎo)和它的向量微分有一個(gè)轉(zhuǎn)置的關(guān)系。

　　　　現(xiàn)在我們?cè)偻茝V到矩陣。對(duì)于矩陣微分，我們的定義為：

df=∑i=1m∑j=1n?f?XijdXij=tr((?f?X)TdX)df=∑i=1m∑j=1n?f?XijdXij=tr((?f?X)TdX)

　　　　其中第二步使用了矩陣跡的性質(zhì)，即跡函數(shù)等于主對(duì)角線的和。即

tr(ATB)=∑i,jAijBijtr(ATB)=∑i,jAijBij

　　　　從上面矩陣微分的式子，我們可以看到矩陣微分和它的導(dǎo)數(shù)也有一個(gè)轉(zhuǎn)置的關(guān)系，不過在外面套了一個(gè)跡函數(shù)而已。由于標(biāo)量的跡函數(shù)就是它本身，那么矩陣微分和向量微分可以統(tǒng)一表示&#

總結(jié)

以上是生活随笔為你收集整理的机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。