對(duì)應(yīng)<機(jī)器學(xué)習(xí)實(shí)戰(zhàn)>P146的嶺回歸公式

?

#--------------------------------------------------------------------------------------------------------------------------------------------

?上面的不太詳細(xì)，來(lái)個(gè)詳細(xì)版本的吧。

變量	定義	舉例	屬性
			矩陣，輸入array是一個(gè)二維數(shù)組，每一行是一個(gè)樣本(一條數(shù)據(jù))，每一列是一個(gè)特征(一條數(shù)據(jù)的特征的取值)。 所以，舉例中是三條數(shù)據(jù)，你可以想象一下： xi=(是否長(zhǎng)發(fā)，聲音高低頻) yi=(根據(jù)上述屬性判斷此人是男是女) ? 顯然，李宇春只有上述兩個(gè)屬性，可以被分類器誤判為男的。(只是舉例，沒(méi)有人身攻擊的意思) ? ?
			列向量
			列向量

sklearn代碼如下:

from sklearn.linear_model import Ridge X = [[1,2],[2,3],[4,5]] y = [1.5,2.5,4.5] clf.fit(X,y) print(clf.intercept_) 0.14406779661017 print(clf.coef_) [0.47457627 0.47457627]

所以根據(jù)上述實(shí)驗(yàn)結(jié)果可知，嶺回歸中有如下關(guān)系

Y=XＷ+誤差列
#--------------------------------------------------------------------------------------------------------------------------------------------

?

?

我們的目標(biāo)是求時(shí)，矩陣中每個(gè)元素的取值

那么為了求得最小值，令＝０(高中的知識(shí)，極小值處，導(dǎo)數(shù)為0)

注意，這里不要基于上面的式子展開(kāi)，否則下面的計(jì)算量會(huì)比較大

=(因?yàn)樾邢蛄砍艘粤邢蛄?#xff1d;一個(gè)數(shù))
=(這里注意，中不存在因子，所以無(wú)需對(duì)求導(dǎo))

（有人會(huì)想，我要的不就是Y=WX嗎？怎么會(huì)中不存在因子呢？）

注意，這里的是你的真實(shí)數(shù)據(jù)，是你對(duì)真實(shí)數(shù)據(jù)集建模后得到的系數(shù)，前者來(lái)自客觀世界，后者是你主觀建模。

=

=

==0

=>

=>

這里是一個(gè)列向量，是一個(gè)對(duì)角矩陣

?

?這個(gè)證明最困難的地方是哪里?

需要一開(kāi)始就十分清楚X、Y、W的嚴(yán)格定義以及各自的維度，這樣才能順利推導(dǎo)下來(lái)。

至于決定他們維度的依據(jù)，Y其實(shí)是整套數(shù)據(jù)集的類別標(biāo)簽，X其實(shí)是不帶類別標(biāo)簽的裸數(shù)據(jù)集，W是模型系數(shù)。

?

另外注意:

根據(jù)參考文獻(xiàn)[2]可知:

Z is assumed to be standardized (mean 0, unit variance) (標(biāo)準(zhǔn)化)

y is assumed to be centered(必須減去平均值)

?

參考:

[1]https://arxiv.org/pdf/1509.09169.pdf

[2]http://statweb.stanford.edu/~tibs/sta305files/Rudyregularization.pdf

總結(jié)

以上是生活随笔為你收集整理的岭回归原理公式推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。