階梯式衰減

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

每個訓練step_size個epoch，lr會自動乘以gamma

LR = 0.01 optimizer = Adam(model.parameters(),lr = LR) scheduler = torch.optim.lr_scheduler.StepLR(optimizer,step_size=5,gamma = 0.9) for epoch in range(100):net.fit(x,y) # 注意要先訓練再更新學習率scheduler.step() # 更新學習率

?指數衰減

torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)

每個epoch中lr都乘以gamma

LR = 0.01 optimizer = Adam(model.parameters(),lr = LR) scheduler = lr_scheduler.ExponentialLR(optimizer, gamma=0.99) for epoch in range(100):net.fit(x,y) # 注意要先訓練再更新學習率scheduler.step() # 更新學習率

?其他學習率衰減方法可以看https://www.jianshu.com/p/9643cba47655

總結

以上是生活随笔為你收集整理的pytorch两种常用的学习率衰减方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。