1 pre-train 帶來更好的優化還是更好的泛化？

pre-train是一個尋網絡權值初值的過程，將pre-train的結果作為BP算法的權值的初值，能夠解決深度網絡在非凸目標函數上陷入局部最優的問題。從這個角度理解更象是帶來更好的優化能力。在帶有pre-train的深度網絡的泛化表現上不僅僅是訓練誤差很小，同時泛化誤差也很小，下圖可以看出帶有pre-train的網絡在減小測試誤差的能力上更優秀，感覺是pre-train的網絡能夠找到一個泛化能力好但是訓練誤差不一定好的初值，從這里更象是一個正則化的方法。

2 pre-train 在什么情況是有效的？

試驗結果說明，淺層簡單的網絡并不需要pre-train，也好理解，如果淺層網絡能夠解決的問題，正則化反而會損害模型的表達能力。而在表達能力太強的深層網絡，需要pre-train來約束網絡的表能力。

---------------------?
作者：cjw_seeker?
來源：CSDN?
原文：https://blog.csdn.net/github_36129812/article/details/53116491?
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！

總結

以上是生活随笔為你收集整理的深度网络pre-train对于深度网络的意义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。