上一篇，我們一步步搭建了一個深層的神經(jīng)網(wǎng)絡(luò)，來實現(xiàn)圖片的分類。結(jié)果顯示，隨著網(wǎng)絡(luò)層數(shù)加深，隱藏層數(shù)增加，網(wǎng)絡(luò)性能會有所提升。但是，單純地通過增加網(wǎng)絡(luò)層數(shù)也不一定能取得很好的效果，且模型容易發(fā)生過擬合。本文將主要來談?wù)勆窠?jīng)網(wǎng)絡(luò)中的過擬合問題以及如何避免過擬合。

什么是過擬合

任何機器學(xué)習(xí)模型，包括神經(jīng)網(wǎng)絡(luò)都可能存在過擬合（Overfit）問題。下面用一張圖來說明：

上圖中，分別用三個模型來擬合實際的樣本點（紅色 x 表示樣本）。第一個模型是一條直線，模型簡單，但是預(yù)測值與樣本 Label 差別較大，這種情況稱之為欠擬合（Underfit）。第三個模型是一個高階多項式，模型過于復(fù)雜，雖然預(yù)測值與樣本 Label 完全吻合，但是該模型在訓(xùn)練樣本之外的數(shù)據(jù)上擬合效果可能很差，該模型可能把噪聲也學(xué)習(xí)了。這種情況稱之為過擬合（Overfit），即模型過于擬合訓(xùn)練樣本的數(shù)據(jù)而泛化能力很差。第二個模型是二次曲線，模型復(fù)雜度中等，既能對訓(xùn)練樣本有較好的擬合效果，也能保證有不錯的泛化能力。這是我們構(gòu)建神經(jīng)網(wǎng)絡(luò)模型希望得到的模型。

欠擬合和過擬合分別對應(yīng)著高偏差（High Bias）和高方差（High Variance）。偏差度量了學(xué)習(xí)算法的期望預(yù)測與真實結(jié)果的偏離程度，刻畫描述了算法本身對數(shù)據(jù)的擬合能力，也就是訓(xùn)練數(shù)據(jù)的樣本與訓(xùn)練出來的模型的匹配程度；方差度量了訓(xùn)練集的變化導(dǎo)致學(xué)習(xí)性

總結(jié)

以上是生活随笔為你收集整理的第10课：优化神经网络——如何防止过拟合的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。