引言

一般訓練神經網絡，總是逃不開optimizer.zero_grad之后是loss（后面有的時候還會寫forward，看你網絡怎么寫了）之后是是net.backward之后是optimizer.step的這個過程。

real_a, real_b = batch[0].to(device), batch[1].to(device)fake_b = net_g(real_a) optimizer_d.zero_grad()# 判別器對虛假數據進行訓練 fake_ab = torch.cat((real_a, fake_b), 1) pred_fake = net_d.forward(fake_ab.detach()) loss_d_fake = criterionGAN(pred_fake, False)# 判別器對真實數據進行訓練 real_ab = torch.cat((real_a, real_b), 1) pred_real = net_d.forward(real_ab) loss_d_real = criterionGAN(pred_real, True)# 判別器損失 loss_d = (loss_d_fake + loss_d_real) * 0.5loss_d.backward() optimizer_d.step()

上面這是一段cGAN的判別器訓練過程。標題中所涉及到的這些方法，其實整個神經網絡的參數更新過程（特別是反向傳播），具體是怎么操作的，我們一起來探討一下。

參數更新和反向傳播

上圖為一個簡單的梯度下降示意圖。比如以SGD為例，是算一個batch計算一次梯度，然后進行一次梯度更新。這里梯度值就是對應偏導數的計算結果。顯然，我們進行下一次batch梯度計算的時候，前一個batch的梯度計算結果，沒有保留的必要了。所以在下一次梯度更新的時候，先使用optimizer.zero_grad把梯度信息設置為0。

我們使用loss來定義損失函數，是要確定優化的目標是什么，然后以目標為頭，才可以進行鏈式法則和反向傳播。

調用loss.backward方法時候，Pytorch的autograd就會自動沿著計算圖反向傳播，計算每一個葉子節點的梯度（如果某一個變量是由用戶創建的，則它為葉子節點）。使用該方法，可以計算鏈式法則求導之后計算的結果值。

optimizer.step用來更新參數，就是圖片中下半部分的w和b的參數更新操作。

參考

[1Pytorch optimizer.step() 和loss.backward()和scheduler.step()的關系與區別
[2]torch代碼解析 為什么要使用optimizer.zero_grad()

總結

以上是生活随笔為你收集整理的Pytorch中的optimizer.zero_grad和loss和net.backward和optimizer.step的理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。