本文概覽：

1. Autoregressive語言模型與Autoencoder語言模型

1.1 語言模型概念介紹

Autoregressive語言模型：指的是依據前面（或后面）出現的單詞來預測當前時刻的單詞，代表有 ELMo， GPT等。

Autoencoder語言模型：通過上下文信息來預測被mask的單詞，代表有 BERT , Word2Vec(CBOW) 。

1.2 二者各自的優缺點

Autoregressive語言模型：

• 缺點： 它只能利用單向語義而不能同時利用上下文信息。ELMo通過雙向都做Autoregressive模型，然后進行拼接，但從結果來看，效果并不是太好。

• 優點：對生成模型友好，天然符合生成式任務的生成過程。這也是為什么 GPT 能夠編故事的原因。

Autoencoder語言模型：

• 缺點：由于訓練中采用了 [MASK] 標記，導致預訓練數據與微調階段數據不一致的問題。BERT獨立性假設問題，即沒有對被遮掩（Mask）的 token 之間的關系進行學習。此外對于生成式問題，Autoencoder模型也顯得捉襟見肘。

• 優點：能夠很好的編碼上下文語義信息（即考慮句子的雙向信息）， 在自然語言理解相關的下游任務上表現突出。

2. DAE與Masked Language Model

2.1 AutoEncoder

如下圖所示，AutoEncoder框架包含兩大模塊：編碼過程和解碼過程。通過 將輸入樣本 映射到特征空間 ，即編碼過程；然后再通過 將抽象特征 映射回原始空間得到重構樣本 ，即解碼過程。優化目標則是通過最小化重構誤差來同時優化encoder和decoder，從而學習得到針對輸入樣本 的抽象特征表示 。

這里我們可以看到，AutoEncoder在優化過程中無需使用樣本的label，本質上是把樣本的輸入同時作為神經網絡的輸入和輸出，通過最小化重構誤差希望學習到樣本的抽象特征表示 。這種無監督的優化方式大大提升了模型的通用性。

對于基于神經網絡的AutoEncoder模型來說，則是encoder部分通過逐層降低神經元個數來對數據進行壓縮；decoder部分基于數據的抽象表示逐層提升神經元數量，最終實現對輸入樣本的重構。

這里值得注意的是，由于AutoEncoder通過神經網絡來學習每個樣本的唯一抽象表示，這會帶來一個問題：當神經網絡的參數復雜到一定程度時AutoEncoder很容易存在過擬合的風險。

2.2 Denoising AutoEncoder(DAE)

為了緩解經典AutoEncoder容易過擬合的問題，一個辦法是在輸入中加入隨機噪聲，Vincent等人提出了Denoising AutoEncoder，即在傳統AutoEncoder輸入層加入隨機噪聲來增強模型的魯棒性；另一個辦法就是結合正則化思想，Rifai等人提出了Contractive AutoEncoder，通過在AutoEncoder目標函數中加上encoder的Jacobian矩陣范式來約束使得encoder能夠學到具有抗干擾的抽象特征。

下圖是Denoising AutoEncoder的模型框架。目前添加噪聲的方式大多分為兩種：

• 添加服從特定分布的隨機噪聲；

• 隨機將輸入x中特定比例的數值置為0；

DAE模型的優勢：

• 通過與非破損數據訓練的對比，破損數據訓練出來的Weight噪聲較小。因為擦除數據的時候不小心把輸入噪聲給擦掉了。

• 破損數據一定程度上減輕了訓練數據與測試數據的代溝。由于數據的部分被擦掉了，因而這破損數據一定程度上比較接近測試數據。

推薦閱讀論文：
【1】Extracting and composing robust features with denoising autoencoders, Pascal Vincent etc, 2008.
【2】Contractive auto-encoders: Explicit invariance during feature extraction, Rifai S etc, 2011.

2.3 DAE與Masked Language Model聯系

• BERT模型是基于Transformer Encoder來構建的一種模型。

• BERT模型基于DAE(Denoising AutoEncoder，去燥自編碼器)的，這部分在BERT中被稱為Masked Language Model (MLM)。

• MLM并不是嚴格意義上的語言模型，它僅僅是訓練語言模型的一種方式。BERT隨機把一些單詞通過MASk標簽來代替，并接著去預測被MASk的這個單詞，過程其實就是DAE的過程。

3. ?Transformer模型回顧

Transformer模型使用經典的encoder-decoder架構，由encoder和decoder兩部分組成。

• 下圖左側用框出來的，就是我們encoder的一層。encoder一共有層這樣的結構。

• 下圖右側用框出來的，就是我們decoder的一層。decoder一共有層這樣的結構。

• 輸入序列經過Input Embedding和Positional Encoding相加后，輸入到encoder中。

• 輸出序列經過Output Embedding和Positional Encoding相加后，輸入到decoder中。

• 最后，decoder輸出的結果，經過一個線性層，然后計算。

3.1 Encdoer部分

輸入是原始詞表中詞的。接著進行Input Embedding，把詞轉換成分布式的表示。在語言模型中詞的順序還是很重要的，因此Transformer加入了Positional Encoding，也就是加入了詞的位置信息。encoder的輸入是Input Embedding 加上對應位置的Positional Encoding。

Input Embedding 加上對應位置的Positional Encoding作為encoder的輸入，首先會經過Multi-Head Attention，學習輸入中詞與詞之間的相關性。接著是Add & Norm層，Add殘差的方式對不同的輸出相加，是借鑒CV中的殘差網絡思想解決梯度消失問題；Norm用的是Layer Norm。然后進行Feed Forward的前向計算，這一層就是全連接的神經網絡。最后再接一層Add & Norm，防止梯度消失。

3.2 Decoder部分

通過encoder部分已經獲得了所有輸入的信息，把這些信息當作decoder后面Multi-Head Attention的輸入，也就是self-attention中的、來自encoder部分輸出的特征，來自decoder部分的輸入。

decoder之前解碼出的單詞當作本次decoder的輸入，也是通過Output Embedding 加上對應位置的Positional Encoding輸入到Masked Multi-Head Attention，再經過Add & Norm層，這里還把decoder輸入和Masked Multi-Head Attention輸出做了殘差連接，最后得到的輸出就是我們上面提到的了。

把encoder部分獲得的所有輸入的信息和decoder前半部分得到的輸入信息，一同送到后面這個Multi-Head Attention中，它學習哪些輸入信息和之前輸出信息的特征更有利于解碼，最后還經過了Add & Norm層、Feed Forward層和Add & Norm層，得到了decoder的最終輸出。

解碼這里要特別注意一下，編碼可以并行計算，一次性全部encoding出來，但是解碼不是一次把所有序列解出來的，而是像RNN一樣一個一個解出來的，因為要用前幾個位置單詞的結果當作self-attention的query。

3.3 Linear 和 Softmax

拿到decoder的輸出做一個線性變換，最后通過一個計算對應位置的輸出詞的概率。Transformer本次的輸出當作下一步decoder的輸入。

關于Transformer更詳細的內容，可以參考我之前寫的一篇文章：《Self-Attention與Transformer》

面試題：為什么NLP中的模型一般使用Layer Norm，而不是Batch Norm？

回答：

• 在CV中，深度網絡中一般會嵌入批歸一化（BatchNorm，BN）單元，比如ResNet；而NLP中，則往往向深度網絡中插入層歸一化（LayerNorm，LN）單元，比如Transformer。為什么在歸一化問題上會有分歧呢？一個最直接的理由就是，BN用在NLP任務里實在太差了（相比LN），此外，BN還難以直接用在RNN中，而RNN是前一個NLP時代的最流行模型。雖然有大量的實驗觀測，表明NLP任務里普遍BN比LN差太多，但是迄今為止，依然沒有一個非常嚴謹的理論來證明LN相比BN在NLP任務里的優越性。

• 基于我閱讀過的文獻，我個人認為：BatchNorm就是通過對batch size這個維度歸一化來讓分布穩定下來，有助于訓練深度神經網絡，是因為它可以讓loss曲面變得更加平滑。LayerNorm則是通過對Hidden size這個維度歸一化來讓某層的分布穩定，主要作用是在訓練初期緩解梯度消失和爆炸的問題，提升穩定性。

• 關于BatchNorm為什么在NLP問題上不work和LayerNorm在NLP問題上work的討論，我強烈推薦大家閱讀這篇文章《LayerNorm是Transformer的最優解嗎？》

4. BERT模型

BERT的全稱是Bidirectional Encoder Representation from Transformers，模型是基于Transformer中的Encoder并加上雙向的結構，因此一定要熟練掌握Transformer的Encoder。BERT模型的主要創新點都在pre-train方法上，即用了Masked Language Model和Next Sentence Prediction兩種方法分別捕捉詞語和句子級別的representation。

在用Masked Language Model方法訓練BERT的時候，隨機把語料庫中15%的單詞做Mask操作。對于這15%的單詞做Mask操作分為三種情況：80%的單詞直接用[Mask]替換、10%的單詞直接替換成另一個新的單詞、10%的單詞保持不變。

因為涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之類的任務，增加了Next Sentence Prediction預訓練任務，目的是讓模型理解兩個句子之間的聯系。與Masked Language Model任務相比，Next Sentence Prediction更簡單些，訓練的輸入是句子A和B，B有一半的幾率是A的下一句，輸入這兩個句子，BERT模型預測B是不是A的下一句。

由于注意力計算開銷是輸入序列長度的平方，較長的序列會影響訓練速度，為了加快實驗中的預訓練速度，所以90%的steps都用序列長度為128進行預訓練，余下10%的steps預訓練為512長度的輸入。

BERT預訓練之后，會保存它的Embedding table和層Transformer權重（BERT-BASE）或層Transformer權重（BERT-LARGE）。使用預訓練好的BERT模型可以對下游任務進行Fine-tuning，比如：文本分類、相似度判斷、閱讀理解等。

5. BERT模型在實際場景的應用

BERT模型在現實中的應用：

• 情感分類：通過用戶對商品評價來對商品質量問題進行分析，比如是否新鮮、服務問題等；

• 意圖識別；

• 問答匹配；

• 槽位提取：BERT后接CRF來做命名實體識別；

6. BERT模型的預訓練及其改進

7. BERT的Fine-tuning不同訓練方式及常見的改進策略

7.1 Fine-tuning的不同訓練方式

7.2 BERT的Fine-tuning中常見的改進策略

如果機器不足、預料不足，一般都會直接考慮用原始的BERT、Roberta、XLnet等在下游任務中微調，這樣我們就不能在預訓練階段進行改進，只能在Fine-tuning階段進行改進。改進方案如下圖所示：

7.3 BERT在實踐中的trick

• 篩選訓練數據，剔除過短或者過長的數據；

• 嘗試bert+conv, bert+conv+avg_max_pooling, bert_last_layer_concat等方式；

• 針對本場景數據，進行少步數的進一步預訓練；

8. 總結

BERT模型作為當今NLP應用的大殺器，具有易于使用、穩定性強等諸多優點。本文深入了解BERT的原理，如何做到BERT的預訓練改進以及Fine-tuning中所涉及到的常見改進策略。另外，本文也講述了BERT模型在實際場景中的應用及在實踐中的一些tricks。

9. Reference

本文部分內容是Microstrong在觀看徐路在B站上講解的視頻《BERT模型精講》的筆記，地址：https://www.bilibili.com/video/BV1M5411x7FZ?from=search&seid=7509511278753452725 ，剩余部分是Microstrong從BERT論文及下列參考文章中整理而來。

【1】Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.
【2】BERT模型精講，地址：https://www.bilibili.com/video/BV1M5411x7FZ?from=search&seid=7509511278753452725
【3】LayerNorm是Transformer的最優解嗎？，地址：https://mp.weixin.qq.com/s/W4gI9SWJm3MjbQHYgvFKbg
【4】The Illustrated Transformer，地址：https://jalammar.github.io/illustrated-transformer/
【5】一文看懂AutoEncoder模型演進圖譜 - 深度的文章 - 知乎 https://zhuanlan.zhihu.com/p/68903857
【6】【NLP】Google BERT詳解 - 李如的文章 - 知乎 https://zhuanlan.zhihu.com/p/46652512

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請掃碼進群：

總結

以上是生活随笔為你收集整理的【NLP】一份相当全面的BERT模型精讲的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。