在機器翻譯、圖像識別等任務上表現SOTA！性能優于Performer、ViT和Transformer-XL等網絡。

作者單位：谷歌Research和大腦團隊等
論文：https://arxiv.org/pdf/2103.01075.pdf

本文提出了來自Transformer的全方位表示（OmniNet）。

在OmniNet中，不是維護嚴格的水平感受野，而是允許每個token都參與整個網絡中的所有token。此過程也可以解釋為一種極端或集中注意力機制的形式，該機制具有網絡整個寬度和深度的感受野。

為此，通過元學習器來學習全向注意力，這實質上是另一個基于自注意力的模型。為了減輕完整的感受野注意力的計算成本，我們利用有效的自注意力模型，例如基于kernel的（Choromanski等人），low-rank的注意力（Wang等人）和/或Big Bird（Zaheer）等）。

Transformer架構

Transformer塊接受N×d輸入，其中N表示序列中標記的數量，d表示表示的大小。每個Transformer模塊都具有一個自我注意模塊和一個兩層前饋網絡，在它們之間以位置方式應用ReLU激活。

自我注意機制首先使用線性變換將每個輸入X投影到Q，K，V表示形式中，這些形式對應于查詢，鍵和值。自我注意機制通常是多頭的，其中并行執行多個相似的線性投影。第l層中每個自我關注頭h的輸出寫為：

其中yh，l是頭h在第l層的輸出，而dk是每個頭的大小。然后，將多個磁頭的輸出進行級聯，然后通過Wo，l進行另一個線性變換，該變換將所有磁頭的級聯投影到dm。這是通過層歸一化和殘差連接來包裝的，可以寫為：

作為self- 注意模塊。

Feed Forward Layers 變壓器塊的FFN塊執行兩層轉換，定義為：

其中W1，W2是FFN層的可訓練參數（權重變換）。為了清楚起見，省略了偏置參數。

OmniNet網絡細節（建議看原文第三章3.2）

提名代表

保持因果關系和自動回歸解碼

高效變壓器

分區的單子網絡

實驗結果

在自回歸語言建模（LM1B，C4），機器翻譯， Long Range Arena（LRA）和圖像識別方面進行了廣泛的實驗。實驗表明，OmniNet在這些任務上實現了相當大的改進，包括在LM1B，WMT'14 En-De / En-Fr和 Long Range Arena上實現了最先進的性能。

此外，在Vision Transformers中使用全向表示可以顯著改善短時學習和微調設置中的圖像識別任務。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【深度学习】CV和NLP通吃！谷歌提出OmniNet：Transformers的全方位表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。