1結構介紹

是一個seq2seq的任務模型，將輸入的時間序列轉化為輸出的時間序列。
有encoder和decoder兩個模塊，分別用于編碼和解碼，結合時是將編碼的最后一個輸出 當做 解碼的第一個模塊的輸入
encoder模塊有兩個操作： self-attention、feed-forward
decoder模塊有三個操作：self-attention、encoder-decoder-attention、feed-forward
兩種attention用的都是 multi-head-attention

2 enbedding

enbedding 操作不是簡單地enbedding，而是加入了位置信息的enbedding,稱之為position-enbedding,

3.multi-head-attention

3.1 attention 簡單回顧

attention 理解為計算相關程度；
進行如下表述：表示為將query 和k-v pairs 映射到輸出上其中query,每個k，每個v都是向量，輸出是V中所有v的加權，其中權重是由q和每個k計算出來的，計算方法分為三步：
（1）計算比較q和k的相似度，用f來表示：

（2）將得到的相似度進行softmax歸一化

（3）針對計算出來的權重，對所有的v進行加權求和，得到attention向量

理解為：
q與一個k進行f運算，運算結果為標量，得到一個原始權重，原始權重經過softmax后變為正式權重，
對所有的v進行加權求和，得到attention向量。

計算相似度的方法有四種：

在paper中使用的是第一種方式。

接下來介紹multi-head-attention的簡單版本scaled-dot-product-attention

轉載于:https://www.cnblogs.com/yeran/p/10604009.html

總結

以上是生活随笔為你收集整理的论文阅读笔记01-attention-is-all-you-need的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。