在機器學習中的矩陣向量求導(一) 求導定義與求導布局中，我們討論了向量矩陣求導的9種定義與求導布局的概念。今天我們就討論下其中的標量對向量求導，標量對矩陣求導, 以及向量對向量求導這三種場景的基本求解思路。

　　　　對于本文中的標量對向量或矩陣求導這兩種情況，如前文所說，以分母布局為默認布局。向量對向量求導，以分子布局為默認布局。如遇到其他文章中的求導結果和本文不同，請先確認使用的求導布局是否一樣。另外，由于機器學習中向量或矩陣對標量求導的場景很少見，本系列不會單獨討論這兩種求導過程。

1. 用定義法求解標量對向量求導

　　　　標量對向量求導，嚴格來說是實值函數(shù)對向量的求導。即定義實值函數(shù)f:Rn→Rf:Rn→R,自變量xx是n維向量，而輸出yy是標量。對于一個給定的實值函數(shù)，如何求解?y?x?y?x呢？

　　　　首先我們想到的是基于矩陣求導的定義來做，由于所謂標量對向量的求導，其實就是標量對向量里的每個分量分別求導，最后把求導的結果排列在一起，按一個向量表示而已。那么我們可以將實值函數(shù)對向量的每一個分量來求導，最后找到規(guī)律，得到求導的結果向量。

　　　　首先我們來看一個簡單的例子：y=aTxy=aTx,求解?aTx?x?aTx?x

　　　　根據(jù)定義，我們先對xx的第i個分量進行求導，這是一個標量對標量的求導，如下：

 

?aTx?xi=?∑j=1najxj?xi=?aixi?xi=ai?aTx?xi=?∑j=

總結

以上是生活随笔為你收集整理的机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。