奧卡姆剃刀定律是機器學習選擇算法時可參照的標準之一。其含義是：在其他條件一樣的情況下，選擇簡單的那個。

該定律的意義在于數據的擬合和低復雜性之間實際上存在著折衷。

理論上假設的解決方案越復雜，就越能擬合數據，訓練數據誤差就會越低

?

圖1

但是在現實生活中，有關未知數據的泛化誤差，往往如圖2所示。

?

圖2

泛化數據誤差實際是訓練數據誤差與另一個名為過擬合誤差的函數之和。

?

圖3

在泛化誤差最小得情況下，可獲得最佳復雜性。用于計算過擬合誤差得方法統稱為貝葉斯方差方法。在現實生活中，通常只會獲得訓練數據誤差。但實踐表明，如果你不去選擇能夠使訓練數據誤差最小化的模型，而是選擇復雜性低一點的模型，算法的表現往往會更好。過擬合是機器學習算法性能不佳得主要緣由。這也是在機器學習中應用奧卡姆剃刀定律的原因。

作者：AryaHooper
鏈接：https://www.jianshu.com/p/e5f2a432ce62
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

總結

以上是生活随笔為你收集整理的机器学习中的奥卡姆剃刀定律的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。