版權(quán)聲明：本文為博主原創(chuàng)文章,轉(zhuǎn)載請指明轉(zhuǎn)載地址

一、綱要

　　欠擬合和過擬合

　　代價函數(shù)正則化

　　正則化線性回歸

　　正則化邏輯回歸

二、內(nèi)容詳述

　　1、欠擬合和過擬合

　　欠擬合，也叫高偏差，就是沒有很好的擬合數(shù)據(jù)集的情況。如下圖中的左圖所示

　　過擬合，也叫高方差，就是雖然高階多項式可以完美的擬合所有的數(shù)據(jù)，但會導(dǎo)致函數(shù)過于龐大，變量太多而我們又沒有足夠的數(shù)據(jù)來約束這個模型，這就是過度擬合。過度擬合的原因，簡單來說就是過多的特征變量和過少的數(shù)據(jù)集。如下圖右。

　　過擬合帶來的效果就是，雖然可以完美的擬合現(xiàn)有的數(shù)據(jù)集，但是在預(yù)測新數(shù)據(jù)方面卻表現(xiàn)的不盡如人意。所以最適合的還是中間的方式。

　　當(dāng)然上面是線性回歸的過擬合問題，邏輯回歸中也存在這樣的問題，就以多項式理解，階數(shù)越高，擬合程度越好，但是預(yù)測方面就表現(xiàn)的很差。那么如何解決這些問題呢？這里就要引入“正則化”的概念！

　　2、代價函數(shù)正則化

　　以第一個問題中的線性回歸過擬合為例，我們應(yīng)該怎樣用正則化解決這個問題呢？我們知道如果讓高次項系數(shù)為0的話，我們就可以比較好的進(jìn)行擬合。所以我們假設(shè)代價函數(shù)是，然后在求解代價函數(shù)J最小化的

過程中我們就會使Θ_3、Θ₄盡可能的小，這樣的話高次項就趨于0，就能很好的解決這個問題。這就給了我們正則化算法的啟示。

　　我們在代價函數(shù)J后面加入一個正則項，代價函數(shù)就變?yōu)?#xff0c;其中λ為正則化參數(shù)。需要注意的是，這里的正則項Θ的Θ_j是從j=1開始到j(luò)=n為止，而不包括Θ₀，雖然加與不加Θ₀的結(jié)果相差不大，但是按照慣例一般Θ₀單獨考慮。所以我們在使用梯度算法的時候Θ₀的參數(shù)更新要與其他Θ_j分開考慮。

　　這里需要強(qiáng)調(diào)的一點是，正則化參數(shù)的選擇非常重要，如果λ過大，那么就會使得Θ_j(j=1,2,3...n)都基本趨于0，也就是只剩下h_θ(x)=θ₀，就如下圖的情況，這樣就變成了欠擬合的問題(Too big lamda)，而當(dāng)λ選擇合適的話，過擬合的曲線(Unregulated)就會變成良好的Regulated

　　3、正則化線性回歸

　　正則化線性回歸的代價函數(shù)J為，在使用梯度下降法之前需要對J進(jìn)行偏導(dǎo)，，然后帶入梯度下降法得到：，之前說過這里Θ₀的參數(shù)更新要與其他Θ_j分開考慮的原因。對θ_j進(jìn)行調(diào)整得到，這個式子是不是很熟悉？跟之前的梯度下降法參數(shù)更新公式很像，區(qū)別只是θ_j變成了θ_j(1-α*(λ/m))，這里1-α*(λ/m)就是一個小于1的常數(shù)，可能是0.99或0.98.這里可以看出正則化線性回歸的梯度下降算法的變化在于，每次都在原有的更新規(guī)則的基礎(chǔ)上令θ額外減去一個值。

　　之前我們說的線性回歸還有一種正規(guī)方程解法，我們同樣可以對線性回歸正規(guī)方程進(jìn)行正則化，方法為

X = [(x⁽⁰⁾)^T ? ?(x⁽¹⁾)^T ? ?(x⁽²⁾)^T ? ?... ? ?(x⁽ⁿ⁾)^T]^T，y=[y⁽¹⁾ ? ?y⁽²⁾ ? ?y⁽³⁾ ? ?... ? ?y^(m)]^T，X是m*(n+1)維矩陣，y為m*1維矩陣

圖中矩陣的尺寸為(n+1)*(n+1)

　　4、正則化邏輯回歸

　　代價函數(shù)為，用梯度下降法進(jìn)行參數(shù)更新得到的方程為：

這里雖然形式跟線性回歸的梯度下降法一樣，但是由于h_θ(x)的不同，所以兩者還是有很大差別

?

?

?

?

?

?

?

?

?

　　

?

轉(zhuǎn)載于:https://www.cnblogs.com/kl2blog/p/7712210.html

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的斯坦福2014机器学习笔记五----正则化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。