作者：Xavier Amatriain 翻譯: 煉丹小生

很多人的“記憶”并沒那么好,特別是對名字.這些年各種各樣的transformer涌現出來,各有各的優勢,但是他們的名字卻不能直白的看出該版本的transformer到底做了什么.這篇的目的就是把所有流行的transformer進行清晰簡單的分類,以便大家對transformer家族快速梳理。

Transformer是什么就不用多說了,2017年開始至今引用量將近4w的論文<Attention is All you Need>提出了一個encoder-decoder的模型取代了歷年一直用的LSTM或者其他RNN,正如標題所述該論文最重要的就是Attention結構了.Transformer最基礎的結構如下所示:

順便溫習一下最"核心"的multi-headed attention結構,該結構"匹配"query和key-value對,并且輸出value的權重和,value的權重來自于query和key的attention值.Transformer結構使用了多頭機制,并行計算特定的attention值,計算方式采用的是Scaled Dot-Product Attentio,如下圖所示:

總結transformer主要由以下幾個部分組成:

預訓練架構: Encoder-Decoder

預訓練任務:

• Language Modeling(LM) 預測下個token
• Masked Language Modeling(MLM) 完形填空
• Permuted Language Modeling(PLM) 對句子做排列
• Denoising Autoencoder(DAE): 句子中做隨機采樣,或者隨機刪除一些token,又或是打亂句子順序,目標是恢復之前的輸入
• Contrastive Learning(CTL): 各種對比學習方法

應用：問答、情感分析、實體識別等.

Catalog table

Transfromer族譜及時間線

參考文獻

1.https://xamat.medium.com/transformers-models-an-introduction-and-catalogue-2022-edition-2d1e9039f376

總結

以上是生活随笔為你收集整理的Transformer总结(2022版)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。