• object.grad.zero_()的意思是清0object的梯度值。
  下面做個(gè)實(shí)驗(yàn)。

x = torch.arange(4.0) x.requires_grad_(True) x.grad # 注意此時(shí)為None，不為0 y = 2 * torch.dot(x, x) y.backward() x.grad # tensor([ 0., 4., 8., 12.]) x.grad.zero_() x.grad # tensor([0., 0., 0., 0.])

• 在默認(rèn)情況下，PyTorch會累積梯度，我們需要清除之前的值，假如不清0會出現(xiàn)什么現(xiàn)象，看下面的實(shí)驗(yàn)。

x = torch.arange(5.0) x.requires_grad_(True) y = 2 * torch.dot(x, x) y.backward() x.grad # Out[58]: tensor([ 0., 4., 8., 12., 16.]) z = 2 * torch.dot(x, x) z.backward() x.grad # Out[61]: tensor([ 0., 8., 16., 24., 32.])，結(jié)果不對

• 那么上面這個(gè)錯(cuò)誤結(jié)果是怎么來的呢？
  PyTorch會累積梯度，tensor([ 0., 8., 16., 24., 32.]) = tensor([ 0., 4., 8., 12., 16.]) + tensor([ 0., 4., 8., 12., 16.])得到的結(jié)果；

• 所以下面這段代碼的意思是迭代param時(shí)不需要構(gòu)建計(jì)算圖，并且迭代完成后就把param.grad清0，因?yàn)樵僖淮握{(diào)用sgd時(shí)就是下一個(gè)batch得到的param.grad，batch和batch是沒有關(guān)系的。

def sgd(params, lr, batch_size): #@save"""小批量隨機(jī)梯度下降。"""with torch.no_grad():for param in params:param -= lr * param.grad / batch_sizeparam.grad.zero_()

參考資料

https://zh-v2.d2l.ai/chapter_preliminaries/autograd.html；

總結(jié)

以上是生活随笔為你收集整理的pytorch之object.grad.zero_()的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。