Error:function ‘LogSoftmaxBackward’ returned nan values in its 0th output.

原因分析

產生這個問題的原因可能有幾種：
1.數據中出現NAN——數據清洗
2.梯度出現NAN——梯度裁減

解決方案

模型參數出現NAN,其實也是由梯度導致的，因為初始化你不可能就NAN把，那就是更新過程出現的，那肯定是梯度導致的模型參數NAN了，所以那些：讓你重新初始化、降低學習率和加正則化約束模型參數、以及往log下加1e-9（其實我感覺這個不科學，logsoftmax分母為0，除非你沒有數據～）的方法都沒啥用。
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)就可以解決了。

這個問題可能是因為多層網絡梯度傳播爆炸了，我是訓練著訓練著模型就bug了,然后我把查過的方法都試過了沒啥用，用torch.isnan(param).int().sum() !=0這個判斷準則把輸入、梯度都檢查了一遍，最后得到的解決方案。

總結

以上是生活随笔為你收集整理的Error:function ‘LogSoftmaxBackward‘ returned nan values in its 0th output.的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。