淺談Transformer的初始化、參數化與標準化

如果不除$\sqrt{d}$的話方差過大，會導致softmax之后接近于one hot，最終導致梯度消失

針對多次提到的norm 問題，post norm與pre norm都一般，作者提出使用參數化訓練，初始化為0，之后慢慢增加

總結

以上是生活随笔為你收集整理的苏神文章总结栏的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。