對應<機器學習實戰>P146的嶺回歸公式

?

#--------------------------------------------------------------------------------------------------------------------------------------------

?上面的不太詳細，來個詳細版本的吧。

變量	定義	舉例	屬性
			矩陣，輸入array是一個二維數組，每一行是一個樣本(一條數據)，每一列是一個特征(一條數據的特征的取值)。 所以，舉例中是三條數據，你可以想象一下： xi=(是否長發，聲音高低頻) yi=(根據上述屬性判斷此人是男是女) ? 顯然，李宇春只有上述兩個屬性，可以被分類器誤判為男的。(只是舉例，沒有人身攻擊的意思) ? ?
			列向量
			列向量

sklearn代碼如下:

from sklearn.linear_model import Ridge X = [[1,2],[2,3],[4,5]] y = [1.5,2.5,4.5] clf.fit(X,y) print(clf.intercept_) 0.14406779661017 print(clf.coef_) [0.47457627 0.47457627]

所以根據上述實驗結果可知，嶺回歸中有如下關系

Y=XＷ+誤差列
#--------------------------------------------------------------------------------------------------------------------------------------------

?

?

我們的目標是求時，矩陣中每個元素的取值

那么為了求得最小值，令＝０(高中的知識，極小值處，導數為0)

注意，這里不要基于上面的式子展開，否則下面的計算量會比較大

=(因為行向量乘以列向量＝一個數)
=(這里注意，中不存在因子，所以無需對求導)

（有人會想，我要的不就是Y=WX嗎？怎么會中不存在因子呢？）

注意，這里的是你的真實數據，是你對真實數據集建模后得到的系數，前者來自客觀世界，后者是你主觀建模。

=

=

==0

=>

=>

這里是一個列向量，是一個對角矩陣

?

?這個證明最困難的地方是哪里?

需要一開始就十分清楚X、Y、W的嚴格定義以及各自的維度，這樣才能順利推導下來。

至于決定他們維度的依據，Y其實是整套數據集的類別標簽，X其實是不帶類別標簽的裸數據集，W是模型系數。

?

另外注意:

根據參考文獻[2]可知:

Z is assumed to be standardized (mean 0, unit variance) (標準化)

y is assumed to be centered(必須減去平均值)

?

參考:

[1]https://arxiv.org/pdf/1509.09169.pdf

[2]http://statweb.stanford.edu/~tibs/sta305files/Rudyregularization.pdf

總結

以上是生活随笔為你收集整理的岭回归原理公式推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。