見過幾層的mlp，也見過幾十層的GoogleNet，還見過上百層的Resnet，上千層的transformer見過沒！這篇論文<DeepNet: Scaling Transformers to 1000 Layers>它來了。它提出了一個簡單有效的方法來訓(xùn)練"極深"的transformer。這篇論文提出了一個新的標(biāo)準(zhǔn)化方程(DEEPNORM)去修改transformer中的殘差鏈接。該論文有著非常深入的理論分析模型在訓(xùn)練過程中參數(shù)更新是非常穩(wěn)定的，使得1000層的transformer誕生，并且在各項指標(biāo)上吊打其他模型。

基于Post-LN的transfomer，該文實現(xiàn)了DEEPNORM(如下圖偽代碼所示)。與Post-LN相比，DEEPNORM在進行l(wèi)ayer-norm之前會擴大殘差連接。除此以外，在初始化過程中降低了參數(shù)的比例。需要注意的是，該方法只會擴大前饋網(wǎng)絡(luò)的權(quán)值的規(guī)模，以及attention層的投影值。

DEEPNET基于transformer架構(gòu)，不同的就是用了deepnorm替換每層的post-LN，如下式所示,Gl是第l層attention和feed-forward網(wǎng)絡(luò):

下圖中我們發(fā)現(xiàn)對比Post-LN，DeepNet更新更加穩(wěn)定。

總結(jié)

以上是生活随笔為你收集整理的DEEPNORM：千层transformer...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。