1. 模型的欠擬合、過擬合

無論是回歸問題還是分類問題都可能存在模型的欠擬合和過擬合的情況。下圖是回歸問題中的例子：

第一個模型欠擬合，第二個模型剛好擬合，第三個過擬合。

下圖是分類問題中的例子：

第一個模型欠擬合，第二個模型剛剛好，第三個模型過擬合。

對于過擬合問題，我們通常有以下方法：

1. 丟棄一些不能幫助我們正確預測的特征。可以是手工選擇保留哪些特征，或者使用一些模型選擇的算法來幫忙（例如 PCA）?

2. 正則化。 保留所有的特征，但是減少參數的大小（magnitude）。

2. 正則化

常見的正則化方式是在原模型優化目標的基礎上，增加對參數的懲罰項（Penalty）正則化線性回歸的代價函數為：
如果我們要使用梯度下降法令這個代價函數最小化，因為我們未對 θ0進行正則化，所 以梯度下降算法將分兩種情形：


對上面的算法中 j=1,2,...,n 時的更新式子進行調整可得：

可以看出，正則化線性回歸的梯度下降算法的變化在于，每次都在原有算法更新規則的基礎上令θ值減少了一個額外的值。


參考資料：斯坦福大學公開課：機器學習課程http://open.163.com/special/opencourse/machinelearning.html

轉載于:https://www.cnblogs.com/mtcnn/p/9411656.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的正则化线性回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。