矩陣求導(dǎo)好像讀書的時(shí)候都沒學(xué)過，因?yàn)橹v矩陣的課程上不講求導(dǎo)，講求導(dǎo)的課又不提矩陣。如果從事機(jī)器學(xué)習(xí)方面的工作，那就一定會(huì)遇到矩陣求導(dǎo)的東西。維基百科上：http://en.wikipedia.org/wiki/Matrix_calculus?， 根據(jù)Y與X的不同類型（實(shí)值，向量，矩陣），給出了具體的求導(dǎo)公式，以及一堆相關(guān)的公式，查起來都費(fèi)勁。

其實(shí)在實(shí)際的機(jī)器學(xué)習(xí)工作中，最常用到的就是實(shí)值函數(shù)y對(duì)向量X的求導(dǎo)，定義如下（其實(shí)就是y對(duì)向量X的每一個(gè)元素求導(dǎo)）：

實(shí)值函數(shù)對(duì)矩陣X求導(dǎo)也類似：

因?yàn)闄C(jī)器學(xué)習(xí)（這里指的是有監(jiān)督的機(jī)器學(xué)習(xí)）的一般套路是給定輸入X，選擇一個(gè)模型f作為決策函數(shù)，由f(X)預(yù)測(cè)出Y'。而得到f的參數(shù)θ（往往是向量），需要定義一個(gè)loss函數(shù)（一般都是實(shí)值函數(shù)），描述當(dāng)前f預(yù)測(cè)值Y'與實(shí)際的Y值的接近程度。模型學(xué)習(xí)的過程就是求使得 loss函數(shù) L(f(X),Y)最小的參數(shù)θ。這是一個(gè)最優(yōu)化問題，實(shí)際應(yīng)用中都是用和梯度相關(guān)的最優(yōu)化方法，如梯度下降，共軛梯度，擬牛頓法等等。
其實(shí)只要掌握上面這個(gè)公式，就能搞定很多問題了。

為了方便推導(dǎo)，下面列出一些機(jī)器學(xué)習(xí)中常用的求導(dǎo)公式，其中andrew ng那一套用矩陣跡的方法還是挺不錯(cuò)的，矩陣的跡也是實(shí)值的，而一個(gè)實(shí)數(shù)的跡等于其本身，實(shí)際工作中可以將loss函數(shù)轉(zhuǎn)化成跡，然后在求導(dǎo)，可能會(huì)簡(jiǎn)化推導(dǎo)的步驟。



以上只是一些最基本的公式，能夠解決一些問題，主要是減少大家對(duì)矩陣求導(dǎo)的恐懼感。關(guān)于矩陣方面的更多信息可以參考上面的wiki鏈接以及《Matrix cookbook》（感謝?@王樹森 CS?推薦）。


分享：

總結(jié)

以上是生活随笔為你收集整理的机器学习矩阵求导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。