1) 字向量與位置編碼

$X = EmbeddingLookup(X) + PositionalEncoding$
$X in mathbb{R}^{batch size * seq. len. * embed. dim.} $

（1）字向量

每個字無論中英文都有一個唯一的數字與其對應，即有一個字典表。

字典表：{1：知，2：否，3：應，...}

（2）文本向量

假設一次性輸入文本為batch_size個句子，給encoder訓練，此時輸入文本就變為[batch_size,seq_len]矩陣數據。

文本向量：每個字都有一串embed_dim長度的數字來表示。

（3）位置向量positional encoding

買張北京到廣州的機票。

買張廣州到北京的機票。

　　位置向量的維度為[max_seq_len，embed_dim]，max_seq_len屬于超參數, 指的是限定的最大單個句長。
注意, 我們一般以字為單位訓練transformer模型, 也就是說我們不用分詞了,首先我們要初始化字向量為[vocab_size, embed_dim]，vocab_size為總共的字庫數量，embed_dim為字向量的維度，也是每個字的數學表達。

下面畫一下位置嵌入, 可見縱向觀察, 隨著embed_dim增大, 位置嵌入函數呈現不同的周期變化。

注意力矩陣的三維圖如下：

論文中使用了$sine$和$cosine$函數的線性變換來提供給模型位置信息:

$PE_{(pos,2i)} = sin(frac{pos} {10000^{2i/d_{model}}})$

$PE_{(pos,2i+1)} = cos(frac{pos}{10000^{2i/d_{model}}})$

上式中$pos$指的是句中字的位置, 取值范圍是[0, max_seq_len)，

$i$指的是詞向量的維度, 取值范圍是[0, embed_dim)，

$d_{model}$指的是字向量的最大維度即embed_dim最大值，$d_{model}=512$。

上面有$sin$和$cos$一組公式, 也就是對應著embed_dim維度的一組奇數和偶數的序號的維度, 例如$0,1$一組，$2,3$一組, 分別用上面的$sin$和$cos$函數做處理，從而產生不同的周期性變化，而位置嵌入在embed_dim維度上隨著維度序號增大，周期變化會越來越慢，而產生一種包含位置信息的紋理，就像Transformer論文原文第六頁講的，位置嵌入函數的周期從$2 pi$到$10000 * 2 pi$變化，而每一個位置在embed_dim維度上都會得到不同周期的$sin$和$cos$函數的取值組合，從而產生獨一的紋理位置信息，模型從而學到位置之間的依賴關系和自然語言的時序特性。

相對位置編碼與絕對位置編碼：

你好，買張北京到廣州的機票。（絕對，BERT）

買張北京到廣州的機票。（相對）

（1）殘差連接residual connection

我們在上一步得到了經過注意力矩陣加權之后的$V$, 也就是$Attention(Q, K, V)$, 我們對它進行一下轉置, 使其和$X_{embedding}$的維度一致, 也就是[batch_size, seq_len, embed_dim], 然后把他們加起來做殘差連接, 直接進行元素相加, 因為他們的維度一致:
$X_{embedding} + Attention(Q, K, V)$
在之后的運算里, 每經過一個模塊的運算, 都要把運算之前的值和運算之后的值相加, 從而得到殘差連接, 訓練的時候可以使梯度直接走捷徑反傳到最初始層:
$X + SubLayer(X)$

（2）層標準化layer normalization

$Layer Normalization$的作用是把神經網絡中隱藏層歸一為標準正態分布, 也就是$i.i.d$獨立同分布, 以起到加快訓練速度, 加速收斂的作用:
$mu_{i}=frac{1}{m} sum^{m}_{i=1}x_{ij}$
上式中以矩陣的行$(row)$為單位求均值;
$sigma^{2}_{j}=frac{1}{m} sum^{m}_{i=1}(x_{ij}-mu_{j})^{2}$
上式中以矩陣的行$(row)$為單位求方差;
$LayerNorm(x)=alpha odot frac{x_{ij}-mu_{i}}{sqrt{sigma^{2}_{i}+epsilon}} + eta$
然后用每一行的每一個元素減去這行的均值, 再除以這行的標準差, 從而得到歸一化后的數值, $epsilon$是為了防止除0;
之后引入兩個可訓練參數$alpha, eta$來彌補歸一化的過程中損失掉的信息, 注意$odot$表示元素相乘而不是點積, 我們一般初始化$alpha$為全1, 而$eta$為全0