學了線性回歸和邏輯回歸后不得不提一下正則化

正則化是解決過擬合問題,是機器學習算法中為防止數據過擬合而采取的“懲罰”措施。

擬合:通俗的講就是貼近的關系，擬合的三種狀態，欠擬合（貼的不夠緊），just right(剛剛好，恰到好處)，過擬合（貼的太緊，以至于很容易出錯，不能泛化）

故事：

校服的故事，學校要做一批校服，由1班的學生來進行訓練,對于1班的學生來說衣服合適，想拿到2班進行推廣，可是發現二班的情況不理想，不合適的居多，原因就是完全太貼近1班的數據，導致不能被推廣。要想退廣的話就得拉大1班的實測值與預測值得距離，面對這樣的過擬合問題，進行修改，引入緩沖概念正則化 lamda，這里比喻成馬甲，用馬甲來調節1班的實測值與與測試的差距

問題由來：

?

?

中間知識：

針對過擬合問題，給代價函數加入一個“馬甲”lamda

針對線性回歸：

h=1/2m*sum((h-y)^2)+lamda/2m*sum(theta^2)

?

針對邏輯回歸：

h=

梯度下降：

dettheta=1/m*X.T.dot(h-y)+lamda/m*theta

?

轉載于:https://www.cnblogs.com/wxjqss/p/10064249.html

總結

以上是生活随笔為你收集整理的机器学习——正则化-L2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。