1.31.動量與學習率衰減
1.31.1.動量
1.31.2.學習率衰減

1.31.動量與學習率衰減

1.31.1.動量

（1）沒有引入動量

（2）引入動量后

從圖中可以看到，引入動量后loss函數更新的幅度減小，同時找到了全局最優解

（3）兩種情況對比

（4）引入動量代碼

1.31.2.學習率衰減

（1）三種情況下學習率對訓練的影響

學習率過小，會使得收斂太慢，但是卻可以收斂到極小值點
學習率過大，會使得目標函數甚至越來越大，或者始終在極小值點旁邊徘徊，無法收斂到極小值點。但是前面收斂很快。
結合這兩點我們引入了動態學習率：
（2）動態學習率

在前期可以設置稍微大一點的學習率如0.1, 再經過一定時間后學習率不斷下降, 這樣既保持了下降速度，同時又保證可以收斂到極小值點。

從圖中可以看出，紅色曲線在突變點出學習率下降成原來的一半后，loss顯著降低。

(3)代碼實現
實現方法一：

CLASS torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08, verbose=False)

scheduler = StepLR(optimizer, step_size=30, gamma=0.1) for epoch in range(100):scheduler.step()train(...)validate(...)

總結

以上是生活随笔為你收集整理的34_pytorch,动量与lr衰减（momentum,learning rate）--学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。