目錄

• Transformer
• • 引言
  • 解析
  • • 整體結(jié)構(gòu)
    • 注意力機(jī)制
    • 自注意力
    • 多頭注意力
    • Positional Encoding
  • 參考
• BERT
• • 引言
  • 解析
  • 參考

關(guān)于Transformer和BERT，網(wǎng)上已經(jīng)有了很多的講解。本博客是筆者閱讀論文后，并參考了一些其他博主的思路，結(jié)合筆者本人的理解而寫(xiě)。文章的最后會(huì)列出一些參考博客（知乎），如有遺漏，煩請(qǐng)?zhí)嵝选?br />

Transformer

引言

Attention Is All You Need
文章鏈接
本文出自NIPS2017，一作是Ashish Vaswani，來(lái)自Google Brain。Transformer最開(kāi)始是基于機(jī)器翻譯任務(wù)提出的，打破了傳統(tǒng)的RNN框架，完全依賴(lài)于注意力機(jī)制。能夠很容易的并行訓(xùn)練，僅在8個(gè)P100上訓(xùn)練了12個(gè)小時(shí)，就實(shí)現(xiàn)了當(dāng)時(shí)的新SOTA。

解析

整體結(jié)構(gòu)

Transformer的結(jié)構(gòu)如下圖所示。還是機(jī)器翻譯領(lǐng)域傳統(tǒng)的Encoder-Decoder架構(gòu)。

Encoder部分使用$N=6$個(gè)Layer組成，每個(gè)Layer又包含兩個(gè)sub-layer，分別是：多頭注意力層（Multi-Head Attention）、前向傳播層（Feed Forward）。每個(gè)sub-layer后面都添加了一個(gè)layer normalization層（出自文章），且使用了類(lèi)似ResNet的跳躍連接。綜上，對(duì)于輸入為$x$的sub-layer，它的輸出是：$\text{LayerNorm}(x+\text{Sublayer}(x))$。

Decoder部分也是使用$N=6$個(gè)Layer組成，每個(gè)Layer包含三個(gè)sub-layer，分別是：帶有掩碼的多頭注意力層（Masked Multi-Head Attention）、多頭注意力層（Multi-Head Attention）、前向傳播層（Feed Forward）。

注意力機(jī)制

首先介紹基于點(diǎn)積的注意力（Scaled Dot-Product Attention），再引申出本文中用到的自注意力（Self Attention）和多頭注意力（Multi-Head Attention）。

基于點(diǎn)積的注意力的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，具有三個(gè)輸入：$Q$、$K$和$V$，分別代表$Query$、$Key$和$Value$，這三個(gè)變量的含義下面會(huì)詳細(xì)介紹。

下面，以機(jī)器翻譯為例子，詳細(xì)介紹注意力機(jī)制的計(jì)算過(guò)程。假設(shè)，此時(shí)模型的輸入$I="wor{d}_{1}wor{d}_{2}wor{d}_3"$，使用$N$表示單詞個(gè)數(shù)，例子中$N=3$。

Embedding
對(duì)輸入的句子$I$進(jìn)行word embedding后，可以得到句子的特征$E$，是一個(gè)$N\times Di{m}^E$的矩陣。按照下標(biāo)進(jìn)行索引即可得到每個(gè)單詞的特征，這里使用$E_i(1\le i\le N)$表示單詞$wor{d}_i$的特征，每個(gè)$E_i$的大小均為$1\times Di{m}^E$。

獲取$Q,K,V$
使用三個(gè)不同的權(quán)重矩陣$W^Q,W^K,W^V$，分別乘以$E$即可得到$Q,K,V$，大小分別為$N^Q\times Di{m}^Q,N^K\times Di{m}^K,N^V\times Di{m}^V$。
$$Q=E{W}^Q,K=E{W}^K,V=E{W}^V$$
直觀(guān)上來(lái)看，$N^Q=N^K=N^V=N$（實(shí)際上不一定，后文會(huì)說(shuō)），下面以這種假設(shè)為前提，看一下如何計(jì)算Attention。

計(jì)算Attention
對(duì)于單詞$wor{d}_i$來(lái)說(shuō)，首先，通過(guò)索引得到其對(duì)應(yīng)的查詢(xún)向量$Q_i$。通過(guò)矩陣乘法操作$S_i=Q_i{K}^T$可以得到一個(gè)大小為$1\times N$的向量$S_i$，而$S_i[j]$即為$wor{d}_i$和$wor{d}_j$的Score。然后，使用$\text{softmax}$將Score進(jìn)行歸一化，得到Attention Weight $W_i$，大小仍是$1\times N$，含義仍是$W_i[j]$表示$wor{d}_i$和$wor{d}_j$的相關(guān)性。，整個(gè)過(guò)程可以概括為（初始時(shí)$Q_i$ 的大小為$1\times Di{m}^Q$）：
$$1\times Di{m}^Q\times K^{T}1\times N\text{softmax}1\times N\times V1\times Di{m}^V$$
不難發(fā)現(xiàn)，對(duì)于每一個(gè)$Q_i$，分別計(jì)算再將結(jié)果Concatenate和直接使用$Q$進(jìn)行計(jì)算得到的結(jié)果是一致的：
$$N\times Di{m}^Q\times K^{T}N\times N\text{softmax}N\times N\times VN\times Di{m}^V$$
上述介紹中，筆者實(shí)際上省略了論文中的一個(gè)重要操作——除以$\sqrt{Di{m}^K}$，文中給出的此操作的作用是：作者同時(shí)測(cè)試了點(diǎn)積注意力和additive attention（出自文章）的表現(xiàn)，在$Di{m}^K$很小時(shí)，兩種注意力的性能接近，在$Di{m}^K$很大時(shí)，前者的表現(xiàn)要更出色。而隨著$Di{m}^K$的增加，點(diǎn)積操作$Q{K}^T$得到的結(jié)果會(huì)變大，經(jīng)過(guò)$\text{softmax}$后，反向傳播回來(lái)的梯度會(huì)很小，會(huì)對(duì)訓(xùn)練過(guò)程帶來(lái)阻礙，故除以$\sqrt{Di{m}^K}$進(jìn)行縮放，再進(jìn)行$\text{softmax}$。綜上，完整的計(jì)算Attention的過(guò)程為：
$$\text{Attention}(Q,K,V)=\text{softmax}(\frac{Q{K}^T}{\sqrt{Di{m}^K}})V$$

現(xiàn)在，總結(jié)一下注意力到底做了什么。我覺(jué)得用一句話(huà)概括，就是：使用$K,V$來(lái)獲得$Q$的更優(yōu)表示。（以下部分參考了[2]）

$Q$代表我們想要表達(dá)的內(nèi)容（或序列，暫記為$X$）在高維空間$A$中的表達(dá)，$K$代表某內(nèi)容（或序列，暫記為$Y$）在高維空間$A$中的表達(dá)，$V$代表某內(nèi)容（或序列，暫記為$Y$）在高維空間$B$中的表達(dá)。即：
$$Q=A(X),K=A(Y),V=B(Y)$$
也就是說(shuō)，通過(guò)計(jì)算兩個(gè)不同序列$X,Y$在同一高維空間$A$的相似度，作為權(quán)重作用在序列$Y$在另一高維空間$B$上，從而獲得序列$X$在高維空間$B$中的表達(dá)$B(X)$。

由上面這些分析可知，在注意力模塊中，必滿(mǎn)足以下兩個(gè)約束：

$Di{m}^Q=Di{m}^K$（即：$Q$和$K$在同一高維空間中，這樣才可以計(jì)算相似度）

$N^K=N^V$（即：$K$和$V$中的“單詞”（不一定限定于單詞）個(gè)數(shù)相同，因?yàn)樗麄兪峭恍蛄性诓煌呔S空間的表達(dá)）

自注意力

其實(shí)只有一句話(huà)，$Q=K=V$

多頭注意力

這部分也很好理解，就是通過(guò)多組不同的$Q,K,V$分別計(jì)算注意力，再Concat一下。這樣可以學(xué)到不同空間的表示。

Positional Encoding

TO DO.

參考

[1] https://blog.csdn.net/longxinchen_ml/article/details/86533005
[2] https://zhuanlan.zhihu.com/p/104393915

BERT

引言

Pre-training of Deep Bidirectional Transformers for Language Understanding
文章鏈接

解析

TO DO.

參考

總結(jié)

以上是生活随笔為你收集整理的Transformer、BERT学习笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。