1.過擬合原因：

? ?? ??1）樣本數量太少，抽樣方法錯誤，抽樣時沒有足夠正確考慮業務場景或業務特點，等等導致抽出的樣本數據不能有效足夠代表業務邏輯或業務場景

? ? ? 2）樣本里的噪音數據干擾過大，大到模型過分記住了噪音特征，反而忽略了真實的輸入輸出間的關系
? ? ? 3）就是建模時的“邏輯假設”到了模型應用時已經不能成立了，模型沒有通用性，選擇參數更少的網絡
? ? ? 4）沒有用dropout
? ? ? 5）weight_decay:默認0.005，可以適當調整，類似于正則化項
? ? ? 6）發現train error還在降，但是validation error已經開始升了，停止訓練，選取validation error最小時的模型參數

2.誤差不能收斂原因：

? ? ? 1）學習率是不是太大了

? ? ? 2）有沒有歸一化
? ? ? 3）輸出層的類別數一定要大于訓練集的類別數才可以收斂?
? ? ? 4）網絡結構不合理，網絡不匹配
? ? ? 5）迭代次數是不是少了

3.如何判斷模型是否過擬合：

? ? ??不同的人提到過擬合/overfitting的時候可能會有不同的含義：

? ? ?? 1）training error比validation error小；
? ? ?? 2）training error還在降，但是validation error已經開始升了。
? ? ?? 1）考慮過多，超出自變量的一般含義維度，過多考慮噪聲，會造成過擬合
? ? ?? 2）訓練集預測效果好，測試集預測效果差，則為過擬合

4.如何判斷模型是否欠擬合：

? ? ??1）明顯的未充分利用數據，擬合結果不符合預期，甚至不能有效擬合訓練集，我們可以認為欠擬合

? ? ?? 2）可以認為預測準確率、召回率都比理論上最佳擬合函數低很多，則為欠擬合

方向：思考訓練數據量，類別數，網絡結構層數之間的關系，考慮分辨率數據量和網絡的能力之間是否相互匹配；如果不合適可以考慮更換網絡或者增加數據量，欠擬合、過擬合沒有明確的定義分界。

總結

以上是生活随笔為你收集整理的caffe学习笔记25-过拟合原因及分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。