上一篇，我們一步步搭建了一個深層的神經網絡，來實現圖片的分類。結果顯示，隨著網絡層數加深，隱藏層數增加，網絡性能會有所提升。但是，單純地通過增加網絡層數也不一定能取得很好的效果，且模型容易發生過擬合。本文將主要來談談神經網絡中的過擬合問題以及如何避免過擬合。

什么是過擬合

任何機器學習模型，包括神經網絡都可能存在過擬合（Overfit）問題。下面用一張圖來說明：

上圖中，分別用三個模型來擬合實際的樣本點（紅色 x 表示樣本）。第一個模型是一條直線，模型簡單，但是預測值與樣本 Label 差別較大，這種情況稱之為欠擬合（Underfit）。第三個模型是一個高階多項式，模型過于復雜，雖然預測值與樣本 Label 完全吻合，但是該模型在訓練樣本之外的數據上擬合效果可能很差，該模型可能把噪聲也學習了。這種情況稱之為過擬合（Overfit），即模型過于擬合訓練樣本的數據而泛化能力很差。第二個模型是二次曲線，模型復雜度中等，既能對訓練樣本有較好的擬合效果，也能保證有不錯的泛化能力。這是我們構建神經網絡模型希望得到的模型。

欠擬合和過擬合分別對應著高偏差（High Bias）和高方差（High Variance）。偏差度量了學習算法的期望預測與真實結果的偏離程度，刻畫描述了算法本身對數據的擬合能力，也就是訓練數據的樣本與訓練出來的模型的匹配程度；方差度量了訓練集的變化導致學習性

總結

以上是生活随笔為你收集整理的第10课：优化神经网络——如何防止过拟合的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。