Lasso回歸與ridge回歸有很多相似之處，但是二者之間有一些顯著的區(qū)別。如果你不太清楚嶺回歸，請(qǐng)參考前一章節(jié)推文：通俗易懂的嶺回歸。

1 lasso回歸 與 ridge 回歸的相同點(diǎn)

1.1 lasso回歸 與 ridge 回歸主要思想相同

• 在嶺回歸中，我們通過(guò)殘差平方和與懲罰項(xiàng)總和最小，以確定嶺回歸模型。嶺回歸的懲罰項(xiàng)是λ? x (斜率的平方)。嶺回歸模型通過(guò)在訓(xùn)練模型中引入少量偏差，從而減少該模型在多個(gè)數(shù)據(jù)集中的方差。

• Lasso回歸同樣是通過(guò)殘差平方和與懲罰項(xiàng)總和確定lasso回歸模型，但lasso回歸的懲罰項(xiàng)為λ? x (斜率的絕對(duì)值)。其λ值的取值范圍為[0，+∞)，由交叉驗(yàn)證得出最佳λ值。

• Lasso回歸的原理與嶺回歸的原理一致，均是通過(guò)在模型中引入少量偏差，進(jìn)而減少模型在多個(gè)數(shù)據(jù)集中的方差。

1.2 lasso回歸與嶺回歸的運(yùn)用場(chǎng)景一致

Lasso回歸與嶺回歸的使用場(chǎng)景一致，如在連續(xù)變量的線性模型、分類變量的線性模型、logistic回歸，以及復(fù)雜的模型，詳見(jiàn)嶺回歸。

盡管lasso回歸和嶺回歸減少模型中參數(shù)的權(quán)重，但每個(gè)參數(shù)縮減的權(quán)重大小不一致。如在以下案例中，隨著λ增大，lasso回歸和嶺回歸對(duì)飲食差異參數(shù)的約束大于對(duì)斜率的約束。

2 lasso回歸與嶺回歸的差異

在僅含有兩個(gè)樣本的訓(xùn)練數(shù)據(jù)集中，lasso回歸模型滿足(殘差平方和 + λ x 斜率絕對(duì)值)之和最小。lasso回歸可減少創(chuàng)建模型中的參數(shù)(如減少無(wú)關(guān)變量的參數(shù)個(gè)數(shù))。

• 當(dāng)λ=0時(shí)，lasso回歸與最小二乘法直線回歸一致。
• 當(dāng)λ＞0時(shí)，隨著λ的增大，lasso回歸中直線的斜率逐漸減小，直至為0。

在嶺回歸中，隨著λ逐漸增大，嶺回歸中的直線斜率逐漸趨近于0，但是不等于0。嶺回歸不能減少模型中的參數(shù)，只能縮小模型中某些參數(shù)的數(shù)值(如降低無(wú)關(guān)變量參數(shù)的系數(shù)值)。

這是兩種正則化回歸最主要的區(qū)別。

2.1 lasso回歸與嶺回歸的比較

分別將lasso回歸和嶺回歸運(yùn)用于復(fù)雜的線性模型中，如下所示。

嶺回歸中的懲罰項(xiàng)如下：

• 隨著λ值的逐漸增大，其中一些相關(guān)的參數(shù)縮減較少(如 slope, diet different)，而一些無(wú)關(guān)的變量參數(shù)會(huì)縮減很多，如astrological offset和airspeed scalar等不相干的參數(shù)將趨近于0，但永遠(yuǎn)不會(huì)消失。

lasso回歸中的懲罰項(xiàng)如下：

• 隨著λ值的逐漸增大，其中一些相關(guān)參數(shù)縮減較小(如slope，diet different)，而一些無(wú)關(guān)變量的參數(shù)將會(huì)縮減很多，直至消失(如astrological offset，airspeed scalar)。排除掉完全無(wú)關(guān)的變量后，僅剩下最主要的變量，使得擬合模型更加容易解讀，如下：

結(jié)合以上討論，我們可以總結(jié)出：

• 如果模型中含有較多的無(wú)關(guān)變量時(shí)，因lasso回歸可以將無(wú)關(guān)變量排除，故lasso回歸比嶺回歸模型更優(yōu)，其在不同數(shù)據(jù)集中的方差更小。

• 相反，如果模型中大多數(shù)變量為相關(guān)變量時(shí)，因嶺回歸不會(huì)誤刪一些變量，故嶺回歸比lasso回歸模型更優(yōu)，其在不同數(shù)據(jù)集中的方差更小。

那我們應(yīng)該如何在兩種回歸中做出更優(yōu)的抉擇呢？接下來(lái)我們學(xué)習(xí)彈性網(wǎng)絡(luò)回歸(Elastic Net Regression)，將解答這一問(wèn)題。

3 總結(jié)

Lasso回歸與嶺回歸非常相似，原理大致相同，運(yùn)用場(chǎng)景相同。但是嶺回歸僅能最大限度的縮減無(wú)關(guān)變量，而lasso回歸可將無(wú)關(guān)變量縮減至0，使得擬合的模型更加便于解讀。因?yàn)閮烧呔哂羞@樣的差異，使得二者在不同的場(chǎng)景中發(fā)揮不一樣的作用。

參考視頻：https://www.youtube.com/watch?v=NGf0voTMlcs&list=PLblh5JKOoLUICTaGLRoHQDuF_7q2GfuJF&index=20

編輯：呂瓊

校審：羅鵬

總結(jié)

以上是生活随笔為你收集整理的岭回归和lasso回归_正则化(2)：与岭回归相似的 Lasso 回归的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。