梯度累積:參考數(shù)據(jù)并行的方式，梯度累積簡單理解是把并行的數(shù)據(jù)替換成串行的數(shù)據(jù)傳入，可以在顯卡數(shù)量有限的情況下使用，還沒有了解是否影響收斂速度。

具體實現(xiàn)：

正常訓(xùn)練過程：

outputs = model(data_batch) loss = loss_function(outputs, labels)optimizer.zero_grad() loss.backward() optimizer.step()

梯度累積：

accumulation_steps = 4outputs = model(data_batch) loss = loss_function(outputs, labels)# 2.1 loss regularization loss正則化 loss += loss / accumulation_steps# 2.2 backward propagation 反向傳播計算梯度 loss.backward()# 3. update parameters of net if ((i+1) % accumulation)==0:# optimizer the netoptimizer.step()optimizer.zero_grad() # reset grdient

學(xué)習(xí)率可能要增大一些；batchnorm可能需要替換為groupnorm,由于梯度累積的訓(xùn)練batch與測試batch均值方差不同。

在不同框架實現(xiàn)中有所區(qū)別，torch需要梯度清空，mxnet計算梯度有兩個參數(shù)，’write'和‘a(chǎn)dd'，

'write'是默認(rèn)參數(shù)，默認(rèn)寫入新梯度，無需pytorch中每次調(diào)用optimizer.zero_grad()；

'add'表示梯度累積,梯度將在每次backward()時增加到已有數(shù)據(jù)中。

mxnet梯度累積可參考：

通過手動梯度累加方式：acc_grad[:] += parameter.grad()

https://github.com/szhengac/Grad_Accumulation/blob/master/gpu/train.py

通過設(shè)置'add‘梯度計算方式，在bind()中 grad_req設(shè)置為’add'，默認(rèn)‘write',具體查看executor_group.py，這時需要在參數(shù)更新后手動梯度清零。

這兩種方式，是mxnet實現(xiàn)梯度累積的方式，具體還沒有實現(xiàn)。

總結(jié)

以上是生活随笔為你收集整理的【显存不足解决方法】梯度累积的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。