ML之LiR之PLiR：懲罰線性回歸PLiR算法簡介、分類、代碼實現之詳細攻略

?

目錄

PLiR算法簡介

PLiR算法分類

PLiR算法代碼實現

---

?

?

?

PLiR算法簡介

更新……

?

PLiR算法分類

1、RiR VS?Lasso回歸

?

? ? ? ? 圖4-1 及圖4-2 的曲線集合代表RiR公式和Lasso回歸公式的系數懲罰項，分別是嶺懲罰項和套索懲罰項。在圖4-1 中，代表系數懲罰項的曲線是以原點為中心的圓。平方和等于常量，限定了β1 以及β2 是位于圓上的點。常數懲罰項的曲線形狀由使用的距離性質決定：基于平方和的懲罰項對應于圓（稱作超球面或者高維空間的I2 球面），基于絕對值和的懲罰項對應于菱形（或者l1 球面）。小的圓（或者菱形）對應于較小的距離函數。形狀雖然由懲罰函數的性質決定，但是每條曲線關聯的值由非負參數λ 來決定。假設圖4-1 中的2 條曲線分別對應平方和（β1、β2）為1.0 和2.0 的情況。如果λ =1，那么和2 個圓圈關聯的懲罰項為1 和2。如果λ =10，那么關聯的懲罰項為10 和20。圖4-2 中的菱形結果也相同。增加λ 也會增加與圖4-2 相關的懲罰項。

? ? ? ? 橢圓環（對應于預測錯誤平方）離不受限的最小值（圖中的x 標記）越遠，橢圓環也變得越大。正如OLS的公式所示，最小化這2個函數的和對應于在預測錯誤最小化以及系數懲罰最小化之間尋求一種平衡。較大的λ 值會更多地考慮最小化懲罰項（所有系數為0）。較小的λ 值會使得最小值接近于不受限的最小預測錯誤（圖4-1 及圖4-2 的x）。

? ? ? ? 這就是系數平方和的懲罰項與絕對值和的懲罰項之間的區別。RiR公式以及Lasso回歸公式的最小值往往會落在懲罰常數曲線與預測錯誤曲線的切點上。圖4-1 與圖4-2 為相切的2個例子。重要一點是在圖4-1 中，隨著λ 變化以及最小點的移動，平方懲罰項產生的切點一般不會落在坐標軸上。β1 與β2 都不為0。相比之下，在圖4-2 中，絕對值和懲罰項產生的切點落在了β2 的軸上。在β2 軸上，β1=0。

?

?

PLiR算法代碼實現

?

?

?

總結

以上是生活随笔為你收集整理的ML之LiR之PLiR：惩罚线性回归PLiR算法简介、分类、代码实现之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。