Lasso回歸與ridge回歸有很多相似之處，但是二者之間有一些顯著的區別。如果你不太清楚嶺回歸，請參考前一章節推文：通俗易懂的嶺回歸。

1 lasso回歸 與 ridge 回歸的相同點

1.1 lasso回歸 與 ridge 回歸主要思想相同

• 在嶺回歸中，我們通過殘差平方和與懲罰項總和最小，以確定嶺回歸模型。嶺回歸的懲罰項是λ? x (斜率的平方)。嶺回歸模型通過在訓練模型中引入少量偏差，從而減少該模型在多個數據集中的方差。

• Lasso回歸同樣是通過殘差平方和與懲罰項總和確定lasso回歸模型，但lasso回歸的懲罰項為λ? x (斜率的絕對值)。其λ值的取值范圍為[0，+∞)，由交叉驗證得出最佳λ值。

• Lasso回歸的原理與嶺回歸的原理一致，均是通過在模型中引入少量偏差，進而減少模型在多個數據集中的方差。

1.2 lasso回歸與嶺回歸的運用場景一致

Lasso回歸與嶺回歸的使用場景一致，如在連續變量的線性模型、分類變量的線性模型、logistic回歸，以及復雜的模型，詳見嶺回歸。

盡管lasso回歸和嶺回歸減少模型中參數的權重，但每個參數縮減的權重大小不一致。如在以下案例中，隨著λ增大，lasso回歸和嶺回歸對飲食差異參數的約束大于對斜率的約束。

2 lasso回歸與嶺回歸的差異

在僅含有兩個樣本的訓練數據集中，lasso回歸模型滿足(殘差平方和 + λ x 斜率絕對值)之和最小。lasso回歸可減少創建模型中的參數(如減少無關變量的參數個數)。

• 當λ=0時，lasso回歸與最小二乘法直線回歸一致。
• 當λ＞0時，隨著λ的增大，lasso回歸中直線的斜率逐漸減小，直至為0。

在嶺回歸中，隨著λ逐漸增大，嶺回歸中的直線斜率逐漸趨近于0，但是不等于0。嶺回歸不能減少模型中的參數，只能縮小模型中某些參數的數值(如降低無關變量參數的系數值)。

這是兩種正則化回歸最主要的區別。

2.1 lasso回歸與嶺回歸的比較

分別將lasso回歸和嶺回歸運用于復雜的線性模型中，如下所示。

嶺回歸中的懲罰項如下：

• 隨著λ值的逐漸增大，其中一些相關的參數縮減較少(如 slope, diet different)，而一些無關的變量參數會縮減很多，如astrological offset和airspeed scalar等不相干的參數將趨近于0，但永遠不會消失。

lasso回歸中的懲罰項如下：

• 隨著λ值的逐漸增大，其中一些相關參數縮減較小(如slope，diet different)，而一些無關變量的參數將會縮減很多，直至消失(如astrological offset，airspeed scalar)。排除掉完全無關的變量后，僅剩下最主要的變量，使得擬合模型更加容易解讀，如下：

結合以上討論，我們可以總結出：

• 如果模型中含有較多的無關變量時，因lasso回歸可以將無關變量排除，故lasso回歸比嶺回歸模型更優，其在不同數據集中的方差更小。

• 相反，如果模型中大多數變量為相關變量時，因嶺回歸不會誤刪一些變量，故嶺回歸比lasso回歸模型更優，其在不同數據集中的方差更小。

那我們應該如何在兩種回歸中做出更優的抉擇呢？接下來我們學習彈性網絡回歸(Elastic Net Regression)，將解答這一問題。

3 總結

Lasso回歸與嶺回歸非常相似，原理大致相同，運用場景相同。但是嶺回歸僅能最大限度的縮減無關變量，而lasso回歸可將無關變量縮減至0，使得擬合的模型更加便于解讀。因為兩者具有這樣的差異，使得二者在不同的場景中發揮不一樣的作用。

參考視頻：https://www.youtube.com/watch?v=NGf0voTMlcs&list=PLblh5JKOoLUICTaGLRoHQDuF_7q2GfuJF&index=20

編輯：呂瓊

校審：羅鵬

總結

以上是生活随笔為你收集整理的岭回归和lasso回归_正则化(2)：与岭回归相似的 Lasso 回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。