??神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程就是權(quán)重參數(shù)尋優(yōu)的過(guò)程，我們想知道隨著訓(xùn)練的進(jìn)行，參數(shù)到底發(fā)生怎樣的變化。本文以LeNet為例，進(jìn)行一些試驗(yàn)觀察。

??LeNet代碼見(jiàn)上一小節(jié)，這里只給出conv2層的權(quán)重，其形狀為 16×6×5×5，其他層權(quán)重的變化情況類(lèi)似。
不同訓(xùn)練輪數(shù)conv2層權(quán)重的分布直方圖：

conv2權(quán)重的均值、標(biāo)準(zhǔn)差、隨機(jī)抽取的10個(gè)參數(shù)以及梯度的1范數(shù)隨訓(xùn)練500輪的變化情況：

??可以看出：
（1）初始分布是平均分布，后面逐漸過(guò)渡為類(lèi)似正態(tài)分布（但左邊緩一些，右邊陡一些）。
（2）隨著訓(xùn)練的繼續(xù)，模型的準(zhǔn)確率早已穩(wěn)定（這點(diǎn)從上一小節(jié)可以看出），但并不意味著權(quán)重也趨于穩(wěn)定，實(shí)際上隨著訓(xùn)練進(jìn)行，權(quán)重的方差持續(xù)變大，表現(xiàn)為值小的參數(shù)越來(lái)越小，值大的參數(shù)越來(lái)越大。
（3）梯度總體趨勢(shì)是逐漸變小，但并不是平緩變化的，有時(shí)梯度會(huì)突然出現(xiàn)很大的值，但這些巨大梯度的出現(xiàn)也并不對(duì)應(yīng)網(wǎng)絡(luò)損失或預(yù)測(cè)精度的突然改變。
上述情況是對(duì)參數(shù)隨訓(xùn)練過(guò)程變化的一個(gè)深入解剖，為什么會(huì)這樣我也不清楚，先把現(xiàn)象放在這里。

總結(jié)

以上是生活随笔為你收集整理的LeNet试验（二）权重参数随训练的变化的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。