學習率是深度學習中的一個重要的超參，如何調整學習率是訓練出好模型的關鍵要素之一。

關于學習率的大小

在訓練過程中，一般根據訓練輪數設置動態變化的學習率。

• 剛開始訓練時：學習率以 0.01 ~ 0.001 為宜。

• 一定輪數過后：逐漸減緩。

• 接近訓練結束：學習速率的衰減應該在100倍以上。

• 兩種學習率衰減模式，一種為線性衰減，一種為指數衰減。

  如果學習率過小，梯度下降很慢，如果學習率過大，如Andrew Ng的Stanford公開課程所說梯度下降的步子過大可能會跨過最優值。不同的學習率對loss的影響如下圖所示：

常見學習率衰減方式

https://www.jianshu.com/p/125fe2ab085b

線性衰減

momentum 動量法

網絡權值時，存在一些不確定因素&#

總結

以上是生活随笔為你收集整理的利用学习率衰减找到最优结果（基于Iris数据集）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。