Why is MoE

在現有的深度神經網絡方法中，針對模型的輸入，所有的參數都會參與計算。在預訓練模型參數量變的越來越大的情況下，計算資源的需求也會變得巨大。而Mixture of Experts（MoE）改變了這種情況。MoE可以為不同的輸入選擇性地激活模型中的一部分參數參與計算，這樣在增大模型參數量的同時，計算量可以維持相對不變。

一種典型的MoE框架由一個門控子網絡（Gating network）和多個專家子網絡（Expert odel）構成，門控網絡為輸入x計算各個專家網絡輸出所占的比重，然后采取加權求和的方式得到最終的輸出。

另有使用門控子網絡對輸入進行路由選擇，即根據各個專家網絡對應的門控值（gating value），選擇出Top-K個專家子網絡參與當前輸入的實際計算，這樣可以顯著降低計算量。

本文就基于MoE的思想，將Transformer中的前饋全連接子層（Feed-Forward Network，FFN）視為Expert，使用多個FFN代替原來單一的FFN，并且使用了最簡單的路由選擇策略，將K設置為1，即不同的輸入只會選擇一個FFN進行計算。這樣相比較于原來的結構，計算量只增加了路由選擇的計算量，而新增的計算量相比較于原來的計算量而言可以忽略，這樣就實現了增大模型參數的同時維持相對不變的

總結

以上是生活随笔為你收集整理的深入解读首个万亿级语言模型 Switch Transformer的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。