? ? ? ? ? ? ? ? ? ? ? ? ? ?最小二乘法矩陣微分偏導法證明

?向量范數回顧

向量1范數

向量1范數即是向量元素的絕對值。定義見：

、

向量2范數

向量2范數即是向量里每個元素的平方和開根號。定義見：

直觀的例子，比如有向量,則向量a的2范數：

而上式的平方顯然也等于

?矩陣微分偏導法

Step 1 由線性回歸的定義，我們的目標是尋求殘差平方和最小，這里殘差平方和的定義即如下：

注： 1 這里 即目標實際值。

? ? ? ? 2 這里的||符號代表第2范數，一般也寫成如下形式(2在右下角)：

Step 2 ?結合向量范數的定義與性質

二范數轉換為向量轉置和向量的乘積形式，即得:

Step 3 ?引入矩陣微分，則上式轉換為：

Step 4 再根據矩陣微分與跡的可交換(“穿透”)性質，進而得到：

Step 5 再結合矩陣微分的性質

又得到下式：

Step 6 ?結合微分和矩陣轉置微分的性質：

1 結合微分性質（常數乘函數的微分等于常數乘函數的微分）???

2 矩陣轉置微分性質(矩陣轉置的微分等于矩陣微分的轉置)

得到下式：

Step 7 ?結合矩陣跡和矩陣乘轉置的性質

1 矩陣跡的性質(矩陣跡等于矩陣轉置的跡)

2 兩矩陣乘的轉置的性質(等于后一矩陣的轉置乘前一矩陣的轉置)?

得到下式：

Step 8 ?合并上式得到如下結果：

Step 9 ：結合微分和導入的關系：

微分和導數的關系（導數的轉置乘微分的跡）：

最終得到導數的表達式：

Step 10 ?令導數為0，則求的最優解，即：

總結

以上是生活随笔為你收集整理的最小二乘法矩阵微分偏导法证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。