關(guān)于網(wǎng)絡(luò)訓(xùn)練時(shí)的參考建議：

1.train loss不斷下降，test loss不斷下降，網(wǎng)絡(luò)正在學(xué)習(xí)

2.train loss不斷下降，test loss趨于不變，網(wǎng)絡(luò)過(guò)擬合，需要增大數(shù)據(jù)；減小網(wǎng)絡(luò)規(guī)模dropout；權(quán)重衰減或正則化L2等

3.train loss趨于不變，test loss趨于不變，遇到瓶頸，需要減少學(xué)習(xí)率和批處理大小

4.train loss趨于不變，test loss不斷下降，數(shù)據(jù)集100%有問(wèn)題

5.train loss不斷上升，test loss不斷上升，可能網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)不當(dāng)，超參設(shè)置不當(dāng)，bug等

6.train loss不斷上下跳動(dòng)，可能學(xué)習(xí)率過(guò)大或批處理太小

7.batchnorm：如果每個(gè)batch輸入的數(shù)據(jù)都具有不同的分布，會(huì)給網(wǎng)絡(luò)的訓(xùn)練帶來(lái)困難，數(shù)據(jù)經(jīng)過(guò)一層層網(wǎng)絡(luò)計(jì)算后，數(shù)據(jù)分布

也會(huì)發(fā)生變化，此現(xiàn)象稱為 internal covariate shift(內(nèi)部協(xié)變量漂移)，之前的解決方法是：較小的學(xué)習(xí)率；小心的初始化參數(shù)；數(shù)據(jù)白化處理

internal：發(fā)生在網(wǎng)絡(luò)內(nèi)部

covariate shift：發(fā)生在輸入層

讓每個(gè)隱層節(jié)點(diǎn)的激活輸入分布固定下來(lái)，這樣就避免internal covariate shift

8.偏差：模型結(jié)果和實(shí)際結(jié)果的偏離程序

9.方差：模型結(jié)果圍繞著實(shí)際結(jié)果波動(dòng)的程度

10.偏差大：不了解數(shù)據(jù)和數(shù)據(jù)形態(tài)；增加維度，如多項(xiàng)式、高階項(xiàng)，減少正則參數(shù)

11.方差大：波動(dòng)(可能來(lái)自無(wú)關(guān)緊要的離群值)、不收斂、模型沒(méi)有找到數(shù)據(jù)變換的節(jié)奏、提供的數(shù)據(jù)變化不豐富；增加樣本，減少特征集合size、增大正則參數(shù)

轉(zhuǎn)載于:https://www.cnblogs.com/little-horse/p/10590830.html

總結(jié)

以上是生活随笔為你收集整理的关于神经网络训练的一些建议笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。