學習率衰減

加快神經網絡的另一個辦法就是隨著時間推移慢慢減少學習率。我們將這個稱之為學習率衰減。

如圖中藍色線所示，當mini-batch不大的時候，噪聲會比較明顯。最后不會精確地收斂，而是在最小值附近不斷地波動。但是如果我們不斷減少學習率，最后情況就如同圖中綠線所示，最后會在最小值附近很小的一塊區域不斷波動，而不會在比較大的區域里。

減小學習率的方法如下：

我們需要在第一代的時候遍歷一遍數據，第一次遍歷整個數據集稱為第一代，第二次遍歷整個數據集稱為第二代。我們一般的計算公式是

α=11+decay?rate?epoch?num?α0α=11+decay?rate?epoch?num?α0
其中decay-rate稱為衰減率，這個也是我們需要調整的超參數。從圖中我們可以看到，如果decay-rate的值是1，隨著epoch-num的數值不斷增加，學習率在不斷下降。

除了這個學習率衰減公式，還有別的衰減公式。

吳教主深度學習和神經網絡課程總綱

總結

以上是生活随笔為你收集整理的2.2.6 学习率衰减的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。