前言

今天我們聊聊機器學習中出現的非常頻繁的問題：過擬合與規則化。我們先簡單的來理解下常用的L0、L1、L2和核范數規則化。最后聊下規則化項參數的選擇問題。這里因為篇幅比較長，為了不嚇到大家，我將這個五個部分分成兩篇博文。知識有限，以下都是我一些淺顯的看法，如果理解存在錯誤，希望大家不吝指正。謝謝。

  監督機器學習問題無非就是“minimizeyour error while regularizing your parameters”，也就是在規則化參數的同時最小化誤差。最小化誤差是為了讓我們的模型擬合我們的訓練數據，而規則化參數是防止我們的模型過分擬合我們的訓練數據。因為參數太多，會導致我們的模型復雜度上升，容易過擬合，也就是我們的訓練誤差會很小。但訓練誤差小并不是我們的最終目標，我們的目標是希望模型的測試誤差小，也就是能準確的預測新的樣本。所以，我們需要保證模型“簡單”的基礎上最小化訓練誤差，這樣得到的參數才具有好的泛化性能（也就是測試誤差也?。Ｐ汀昂唵巍本褪峭ㄟ^規則函數來實現的。另外，規則項的使用還可以約束我們的模型的特性。這樣就可以將人對這個模型的先驗知識融入到模型的學習當中，強行地讓學習到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。要知道，有時候人的先驗是非常重要的。對機器學習也是一樣，如果被我們人稍微點撥一下，它肯定能更快的學習相應的任務。只是由于人和機器的交流目前還沒有那么直接的方法，目前這個媒介只能由規則項來擔當了。

       還有幾種角度來看待規則化的。規則化符合奧卡姆剃刀(Occam's razor)原理。這名字好霸氣，razor！不過它的思想很平易近人：在所有可能選擇的模型中，我們應該選擇能夠很好地解釋已知數據并且十分簡單的模型。從貝葉斯估計的角度來看?

總結

以上是生活随笔為你收集整理的机器学习算法源码全解析（二）-范数规则化之L0、L1与L2范数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。