根據(jù)pytorch中的backward()函數(shù)的計算，當網(wǎng)絡參量進行反饋時，梯度是被積累的而不是被替換掉；但是在每一個batch時毫無疑問并不需要將兩個batch的梯度混合起來累積，因此這里就需要每個batch設置一遍zero_grad 了。

其實這里還可以補充的一點是，如果不是每一個batch就清除掉原有的梯度，而是比如說兩個batch再清除掉梯度，這是一種變相提高batch_size的方法，對于計算機硬件不行，但是batch_size可能需要設高的領域比較適合，比如目標檢測模型的訓練。
?

總結

以上是生活随笔為你收集整理的Pytorch 为什么每一轮batch需要设置optimizer.zero_grad的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。