學習速率的選取策略

運用梯度下降算法進行優(yōu)化時，權(quán)重的更新規(guī)則中，在梯度項前會乘以一個系數(shù)，這個系數(shù)就叫學習速率 $\alpha$ ：

• 如果學習速率太小，則會使收斂過慢。

• 如果學習速率太大，則會導致代價函數(shù)振蕩，迭代過快，梯度下降法可能會越過最低點，甚至可能發(fā)散。

• 學習速率的取值取決于數(shù)據(jù)樣本，可以多取一些值，從大到小，分別運行算法，看看迭代效果，如果損失函數(shù)在變小，說明取值有效，否則要增大步長。

• 例如：把學習速率設(shè)置為 0.01，然后觀察 training cost 的走向，如果cost 在減小，可以逐步地調(diào)大學習速率，試試 0.1，1.0 如果 cost 在增大，那就得減小學習速率，試試0.001，0.0001。經(jīng)過一番嘗試之后，可以大概確定學習速率的合適的值。

學習速率的調(diào)節(jié)

• 在優(yōu)化的過程中，learning rate應該是逐步減小的，越接近“山谷”的時候，邁的“步伐”應該越小。

• 人工調(diào)節(jié)

  可以先對 learning rate 設(shè)置初始值，如：0.25，迭代到一定程度時，如：第20個epoch時候，將 learning rate 除以10，設(shè)置為0.025。

• 自動調(diào)節(jié)

  一個簡單有效的做法就是，當驗證集的準確率不再提高時，可以讓 learning rate 減半或除以10，然后繼續(xù)迭代。

參考的配置

AlexNet 以及 VGG 中的學習率設(shè)定：

• 學習率初始設(shè)定為 0.01，然后當驗證集準確率停止改善時，減少10倍。學習率總共降低3次。

The heuristic which we followed was to divide the learning rate by 10 when the validation error rate stopped improving with the current learning rate. The learning rate was initialized at 0.01 and reduced three times prior to termination.

總結(jié)

以上是生活随笔為你收集整理的学习速率 learning rate的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。