pytorch之trainer.zero_grad()
生活随笔
收集整理的這篇文章主要介紹了
pytorch之trainer.zero_grad()
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
- 在下面的代碼中,在每次l.backward()前都要trainer.zero_grad(),否則梯度會累加。
- trainer.step()在參數迭代的時候是如何知道batch_size的?
因為loss = nn.MSELoss(),均方誤差是對樣本總量平均過得到的,所以trainer.step()使用的是平均過的grad。
參考資料:
總結
以上是生活随笔為你收集整理的pytorch之trainer.zero_grad()的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python编程入门第一课_python
- 下一篇: (二)ElasticSearch6.1.