文章目錄

• 1. 正則線性模型
• • 1.1 Ridge Regression（L2）
  • • 1.1.1 Sklearn 實(shí)現(xiàn)
    • 1.1.2 Ridge + SDG
    • • 1.1.2.1 Sklearn 實(shí)現(xiàn)
  • 1.2 Lasso Regression（L1）
  • • 1.2.1 Sklearn 實(shí)現(xiàn)
    • 1.2.2 Lasso + SGD
    • • 1.2.2.1 Sklearn 實(shí)現(xiàn)
  • 1.3 Elastic Net（L1&L2）
  • • 1.3.1 Sklearn 實(shí)現(xiàn)
  • 1.4 正則線性模型選擇
• 參考資料

相關(guān)文章：

機(jī)器學(xué)習(xí) | 目錄

機(jī)器學(xué)習(xí) | 回歸評估指標(biāo)

機(jī)器學(xué)習(xí) | 梯度下降原理及Python實(shí)現(xiàn)

監(jiān)督學(xué)習(xí) | 線性回歸 之多元線性回歸原理及Sklearn實(shí)現(xiàn)

監(jiān)督學(xué)習(xí) | 非線性回歸 之多項(xiàng)式回歸原理及Sklearn實(shí)現(xiàn)

監(jiān)督學(xué)習(xí) | 線性分類 之Logistic回歸原理及Sklearn實(shí)現(xiàn)

1. 正則線性模型

在介紹正則線性模型（Regularized Linear Models）前，我們先來看一下一個例子，假設(shè)對于以下數(shù)據(jù)，我們分別使用多元線性回歸和多項(xiàng)式回歸進(jìn)行擬合分類如下：

圖1 不同模型對數(shù)據(jù)的擬合

可以看到此時線性模型的錯誤分類點(diǎn)數(shù)為2，而多項(xiàng)式回歸模型的誤差為0，因此此時計(jì)算機(jī)將會選擇第二個模型。但是這個模型有一個缺點(diǎn)，那就是過擬合了，但如何讓計(jì)算機(jī)避免過擬合呢，一個常見的方法就是對模型正則化，它擁有的自由度越低，就越不容易過度擬合。比如，將多項(xiàng)式模型正則化的簡單方法就是降低多項(xiàng)式的階數(shù)。

對線性模型來說，正則化通常通過約束模型的權(quán)重來實(shí)現(xiàn)。如剛才的例子，如果我們?yōu)槟Ｐ偷某杀竞瘮?shù)添加一個模型復(fù)雜度的話，就可以在挑選模型的時候考慮到模型的復(fù)雜度。

按照對模型復(fù)雜度的懲罰不同，我們有三種方法：嶺回歸、套索回歸和彈性網(wǎng)絡(luò)，分別對應(yīng)三種正則化策略：L2 正則化、L1 正則化和 L1&L2 正則化。

p-范數(shù)：如果 $X=[x_1,x_2,..,x_n]$ 那么向量 x 的 p-范數(shù)就是：$||x|{|}_p=(|x_1{|}^p+|x_2{|}^p+?+|x_n{|}^p{)}^{\frac{1}{p}}$ ，用得最多的還是 $L_1,L_2$ 范數(shù)：

$L_1$ 范數(shù)：$||x|{|}_1=(|x_1|+|x_2|+?+|x_n|)$ ，即絕對值之和

$L_2$ 范數(shù)：$||x|{|}_2=(|x_1{|}^2+|x_2{|}^2+?+|x_n{|}^2{)}^{\frac{1}{2}}$ ，即通常意義上的模

1.1 Ridge Regression（L2）

嶺回歸（Ridge Regression，也叫作吉洪諾夫正則化）是線性回歸的正則化版：在成本函數(shù)中添加一個等于 $\alpha {\sum }_{i=1}^n{\theta }_i^2$ 的正則項(xiàng)。這使得學(xué)習(xí)中的算法不僅需要擬合數(shù)據(jù)，同時還要讓模型權(quán)重保持最小。

嶺回歸模型成本函數(shù)：

$$J(\theta )=MSE(\theta )+\alpha \frac{1}{2}\sum _{i=1}^n{\theta }_i^2\text{\hspace{1em}(1)}$$

注意，正則項(xiàng)只能在訓(xùn)練的時候添加到成本函數(shù)中，一旦訓(xùn)練完成，就需要使用未經(jīng)正則化的性能指標(biāo)來評估模型性能。

超參數(shù) $\alpha$ 控制的是對模型進(jìn)行正則化的程度，如果 $\alpha =0$ ，則嶺回歸就是線性模型。如果 $\alpha$ 非常大，那么所有的權(quán)重都非常接近于零，結(jié)果是一條穿過數(shù)據(jù)平均值的水平線。

注意，這里偏置項(xiàng) ${\theta }_0$ 沒有正則化。如果我們將 $w$ 定義為特征權(quán)重的向量（${\theta }_1$ 到 ${\theta }_n$），那么正則項(xiàng)即正與 $\frac{1}{2}(||w|{|}_2{)}^2$，其中 $||w|{|}_2$ 為權(quán)重向量的 $L_2$ 范數(shù)。而對于梯度下降，只需要在 $MSE$ 梯度向量上添加 $\alpha w$ 即可。

在執(zhí)行嶺回歸之前，必須對數(shù)據(jù)進(jìn)行縮放（例如使用 StandardScaler），因?yàn)樗鼘斎胩卣鞯拇笮》浅Ｃ舾小４蠖鄶?shù)正則化模型都是如此。

與線性回歸一樣，我們也可以在計(jì)算閉式方程或者執(zhí)行梯度下降時，執(zhí)行嶺回歸。

閉式解的嶺回歸：

$$\hat{\theta }=(X^T?X+\alpha A{)}^{?1}?X^T?y\text{\hspace{1em}(2)}$$

其中 $A$ 是一個 $n\times n$ 的單位矩陣，除了左上單元格為0，其他與偏置項(xiàng)對應(yīng)。

下面是使用不同 $\alpha$ 值對某個線性數(shù)據(jù)進(jìn)行訓(xùn)練的幾種嶺回歸模型，左邊直接對線性模型使用嶺回歸（即對多元線性模型的成本函數(shù)添加模型復(fù)雜度），導(dǎo)致預(yù)測是線性的。而右邊，首先使用 PolynomialFeatures(degree=10) 對數(shù)據(jù)進(jìn)行擴(kuò)展（多項(xiàng)式回歸），然后用 StandardScaler() 進(jìn)行縮放，最后將嶺回歸模型用于結(jié)果特征：

圖2 不同 alpha 下的 嶺回歸 與 多項(xiàng)式嶺回歸

$\alpha$ 使得預(yù)測更加平坦，這降低了模型的方差，但是也提升了偏差。

代碼如下：

from sklearn.linear_model import Ridge, LinearRegression from sklearn.pipeline import Pipeline from sklearn.preprocessing import PolynomialFeatures, StandardScaler import matplotlib.pyplot as pltnp.random.seed(42) m = 20 X = 3 * np.random.rand(m, 1) y = 1 + 0.5 * X + np.random.randn(m, 1) / 1.5 X_new = np.linspace(0, 3, 100).reshape(100, 1)def plot_model(model_class, polynomial, alphas, **model_kargs):for alpha, style in zip(alphas, ("b-", "g--", "r:")):# 嶺回歸如果alpha為0，就變成了線性回歸model = model_class(alpha, **model_kargs) if alpha > 0 else LinearRegression() # 多項(xiàng)式嶺回歸if polynomial:model = Pipeline([("poly_features", PolynomialFeatures(degree=10, include_bias=False)),("std_scaler", StandardScaler()),("regul_reg", model),])model.fit(X, y)y_new_regul = model.predict(X_new)lw = 2 if alpha > 0 else 1plt.plot(X_new, y_new_regul, style, linewidth=lw, label=r"$\alpha = {}$".format(alpha))plt.plot(X, y, "b.", linewidth=3)plt.legend(loc="upper left", fontsize=15)plt.xlabel("$x_1$", fontsize=18)plt.axis([0, 3, 0, 4])plt.figure(figsize=(8,4)) plt.subplot(121) plot_model(Ridge, polynomial=False, alphas=(0, 10, 100), random_state=42) plt.ylabel("$y$", rotation=0, fontsize=18) plt.subplot(122) plot_model(Ridge, polynomial=True, alphas=(0, 10**-5, 1), random_state=42)plt.show()

1.1.1 Sklearn 實(shí)現(xiàn)

sklearn.linear_model.Ridge:

from sklearn.linear_model import Ridgeridge_reg = Ridge(alpha=1.0, fit_intercept=True, normalize=False, copy_X=True, max_iter=None, tol=0.001, solver='auto', random_state=None)ridge_reg.fit(X, y) ridge_reg.predict([[X_pred]]) from sklearn.linear_model import Ridgenp.random.seed(42) m = 20 X = 3 * np.random.rand(m, 1) y = 1 + 0.5 * X + np.random.randn(m, 1) / 1.5ridge_reg = Ridge(alpha=1, solver="cholesky", random_state=42) ridge_reg.fit(X, y) ridge_reg.predict([[1.5]]) array([[1.55071465]]) ridge_reg.intercept_, ridge_reg.coef_ (array([1.00650911]), array([[0.36280369]]))

與原回歸模型 $y=1+0.5\times X+\epsilon$ 很接近。

---

1.1.2 Ridge + SDG

利用隨機(jī)梯度下降來求解嶺回歸。

1.1.2.1 Sklearn 實(shí)現(xiàn)

from sklearn.linear_model import SGDRegressorridge_sgd_reg = SGDRegressor(max_iter=50, tol=-np.infty, penalty="l2", random_state=42) ridge_sgd_reg.fit(X, y.ravel()) ridge_sgd_reg.predict([[1.5]]) array([1.49905184]) ridge_sgd_reg.intercept_, ridge_sgd_reg.coef_ (array([0.63725132]), array([0.57453367]))

1.2 Lasso Regression（L1）

線性回歸的另一種正則化，叫作最小絕對收縮和選擇算子回歸（Least Absolute Shrinkage and Selection Operator Regression，簡稱Lasso 回歸，或套索回歸）。與嶺回歸一樣，它也是像成本函數(shù)添加一個正則項(xiàng)，但是它增加的是權(quán)重向量的 $L_1$ 范數(shù)，而不是 $L_2$ 范數(shù)的平方的一半。

Lasso 回歸成本函數(shù)：

$$J(\theta )=MSE(\theta )+\alpha \sum _{i=1}^n|{\theta }_i|\text{\hspace{1em}(3)}$$

圖 3 顯示內(nèi)容與圖 2 相同，但是嶺回歸模型換成了 Lasso 回歸模型，同時 $\alpha$ 值較小。

Lasso 回歸的一個重要特點(diǎn)是它傾向于完全消除掉最不重要特征的權(quán)重（也就是將它們設(shè)置為零）。例如，在圖 3 中右圖中的虛線（$\alpha =10^{?7}$）看起來像是二次的，快要接近于線性；因?yàn)樗懈唠A多項(xiàng)式的特征權(quán)重的等于零。換句話說，Lasso 會回會自動執(zhí)行特征選擇并輸出一個系數(shù)模型（即只有很少的特征有非零權(quán)重）。

圖3 不同 alpha 下的 Lasso 回歸 與 多項(xiàng)式 Lasso 回歸

代碼如下：

from sklearn.linear_model import Lassoplt.figure(figsize=(8,4)) plt.subplot(121) plot_model(Lasso, polynomial=False, alphas=(0, 0.1, 1), random_state=42) plt.ylabel("$y$", rotation=0, fontsize=18) plt.subplot(122) plot_model(Lasso, polynomial=True, alphas=(0, 10**-7, 1), tol=1, random_state=42)plt.show()

[外鏈圖片轉(zhuǎn)存失敗(img-rtHntb2V-1566830619833)(output_18_0.png)]

1.2.1 Sklearn 實(shí)現(xiàn)

sklearn.linear_model.Lasso:

from sklearn.linear_model import Lassolasso_reg = Lasso(alpha=1.0, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyclic') lasso_reg.fit(X, y) lasso_reg.predict([[X_pred]]) from sklearn.linear_model import Lasso lasso_reg = Lasso(alpha=0.1) lasso_reg.fit(X, y) lasso_reg.predict([[1.5]]) array([1.53788174]) lasso_reg.intercept_, lasso_reg.coef_ (array([1.14537356]), array([0.26167212]))

---

1.2.2 Lasso + SGD

利用隨機(jī)梯度下降來求解 Lasso 回歸，當(dāng) ${\theta }_i=0(i=1,2,?,n)$ ，Lasso 成本函數(shù)是不可微的。但是，當(dāng)任意 ${\theta }_i=0$ 時，可以使用次梯度向量 $g$ 作為替代，依舊可以讓梯度下降正常運(yùn)轉(zhuǎn)。

$Lasso$ 回歸次梯度向量：

$$g(\theta ,J)={?}_{\theta }\mathrm{MSE}(\theta )+\alpha ?\begin{array}{c}\mathrm{sign}\left({\theta }_1\right)\\ \mathrm{sign}\left({\theta }_2\right)\\ ?\\ \mathrm{sign}\left({\theta }_n\right)\end{array}?當(dāng)sign({\theta }_1)=?\begin{array}{r}?1({\theta }_i<0)\\ 0({\theta }_i=0)\\ +1({\theta }_i>0)\end{array}\text{\hspace{1em}(4)}$$

1.2.2.1 Sklearn 實(shí)現(xiàn)

from sklearn.linear_model import SGDRegressorlasso_sgd_reg = SGDRegressor(max_iter=50, tol=-np.infty, penalty="l1", random_state=42) lasso_sgd_reg.fit(X, y.ravel()) lasso_sgd_reg.predict([[1.5]]) array([1.49903849]) lasso_sgd_reg.intercept_, lasso_sgd_reg.coef_ (array([0.63727982]), array([0.57450578]))

1.3 Elastic Net（L1&L2）

彈性網(wǎng)絡(luò)是嶺回歸與 Lasso 回歸之間的中間地帶。其正則項(xiàng)就是嶺回歸和 Lasso 回歸的正則項(xiàng)的混合混合比例通過 $r$ (L1_ratio)來控制。當(dāng) $r=0$ 時，彈性網(wǎng)絡(luò)即等同于嶺回歸，而當(dāng) $r=1$ 時，即相當(dāng)于 Lasso 回歸。

彈性網(wǎng)絡(luò)成本函數(shù)：

$$J(\theta )=MSE(\theta )+r\alpha \sum _{i=1}^n|{\theta }_i|+\frac{1?r}{2}\alpha \sum _{i=1}^n{\theta }_i^n\text{\hspace{1em}(5)}$$

1.3.1 Sklearn 實(shí)現(xiàn)

sklearn.linear_model.ElasticNet:

from sklearn.linear_model import ElasticNetelastic_net = ElasticNet(alpha=1.0, l1_ratio=0.5, fit_intercept=True, normalize=False, precompute=False, max_iter=1000, copy_X=True, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyclic')[source]elastic_net.fit(X, y) elastic_net.predict([[X_pred]]) from sklearn.linear_model import ElasticNet elastic_net = ElasticNet(alpha=0.1, l1_ratio=0.5, random_state=42) elastic_net.fit(X, y) elastic_net.predict([[1.5]]) array([1.54333232]) elastic_net.intercept_, elastic_net.coef_ (array([1.08639303]), array([0.30462619]))

1.4 正則線性模型選擇

應(yīng)該如何選擇線性、嶺回歸、Lasso 回歸和彈性網(wǎng)絡(luò)呢？通常來說，有正則化——哪怕是很小，總是比沒有更可取一些。所以大多數(shù)情況下，應(yīng)該避免使用純線性回歸。

嶺回歸是個不錯的默認(rèn)選擇，但是如果覺得實(shí)際用到的特征只有少數(shù)幾個，那就應(yīng)該更傾向于 Lasso 回歸或是彈性網(wǎng)絡(luò)，因?yàn)樗鼈儠o用特征的權(quán)重降為零。

一般而言，彈性網(wǎng)絡(luò)優(yōu)于 Lasso 回歸，因?yàn)楫?dāng)特征數(shù)量超過訓(xùn)練實(shí)例數(shù)量，又或者是幾個特征強(qiáng)相關(guān)時，Lasso 回歸的表現(xiàn)可能非常不穩(wěn)定。^[1]

參考資料

[1] Aurelien Geron, 王靜源, 賈瑋, 邊蕤, 邱俊濤. 機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：基于 Scikit-Learn 和 TensorFlow[M]. 北京: 機(jī)械工業(yè)出版社, 2018: 121-127.

總結(jié)

以上是生活随笔為你收集整理的监督学习 | 线性回归 之正则线性模型原理及Sklearn实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。