作者?|?Adherer 編輯?|?NewBeeNLP

面試錦囊之知識整理系列，持續更新中

寫在前面

以下是關于ELMo的若干問題整理記錄，自己在網上找了一些問題，對每個問題收集了一些資料，并做了整理，有些問題還寫了一些自己的看法，可能會有紕漏，甚至還有錯誤，還請大家賜教????

1.ELMo的基本原理是什么？

ELMO采用了典型的兩階段過程，

• 「第一個階段是利用語言模型進行預訓練」；

• 「第二個階段是在做下游任務時，從預訓練網絡中提取對應單詞的網絡各層的Word Embedding作為新特征補充到下游任務中。」

第一階段：利用語言模型進行預訓練

第一階段模型總覽：

ELMo第一階段，來源張俊林老師文章^[2]

上圖展示的是其預訓練過程，它的網絡結構采用了雙層雙向LSTM，其中單詞(token)特征這一塊采用的是單詞的embedding(是否是預訓練好的論文中沒有告知)或者采用字符卷積得到其embedding表示

(論文原文中說的是：via token embeddings or a CNN over characters，字符卷積可以參考論文：Character-Aware Neural Language Models^[1])

目前語言模型訓練的任務目標是根據單詞? 的上下文去正確預測單詞?，? 之前的單詞序列Context-before稱為上文，之后的單詞序列Context-after稱為下文。

上圖中左端的前向雙層LSTM代表正方向編碼器，輸入的是從左到右順序的除了預測單詞外? 的上文Context-before；右端的逆向雙層LSTM代表反方向編碼器，輸入的是從右到左的逆序的句子下文Context-after；每個編碼器的深度都是兩層LSTM疊加。

「需要注意的是上述殘差結構是在訓練深層LSTM網絡時常用的結構，簡單做法就是將LSTM層的輸入加到輸出上，在官方tensorflow源碼中token的embedding沒有加到第一層LSTM的輸出上」

使用這個網絡結構利用大量語料做語言模型任務就能預先訓練好這個網絡，如果訓練好這個網絡后，輸入一個新句子?，句子中每個單詞都能得到對應的三個Embedding：

• 最底層是單詞的Word Embedding

• 往上走是第一層雙向LSTM中對應單詞位置的Embedding，這層編碼單詞的句法信息更多一些；

• 再往上走是第二層LSTM中對應單詞位置的Embedding，這層編碼單詞的語義信息更多一些。

也就是說，ELMO的預訓練過程不僅僅學會單詞的Word Embedding，還學會了一個雙層雙向的LSTM網絡結構，而這兩者后面都有用。

第二階段：下游任務利用預訓練好的embedding

第二階段模型總覽：

ELMo第二階段，來源張俊林老師文章^[2]

以QA問題為例，展示下游任務如何利用預訓練好的embedding。

對于問句X，我們可以先將句子X作為預訓練好的ELMO網絡的輸入，這樣句子X中每個單詞在ELMO網絡中都能獲得對應的三個Embedding；

之后給予這三個Embedding中的每一個Embedding一個權重a，這個權重可以學習得來，根據各自權重累加求和，將三個Embedding整合成一個；

然后將整合后的這個Embedding作為X句在自己任務的那個網絡結構中對應單詞的輸入，以此作為補充的新特征給下游任務使用。

對于上圖所示下游任務QA中的回答句子Y來說也是如此處理。因為ELMO給下游提供的是每個單詞的特征形式，所以這一類預訓練的方法被稱為"Feature-based Pre-Training"。

2.ELMo的訓練過程是什么樣的？損失函數是什么？

ELMo的訓練過程實際上指的是其第一階段的預訓練過程，第一階段實際上就是在訓練一個雙向語言模型，假設給定一個序列，該序列含有? 個token? ，那么：

• 前向語言模型通過在給定上文?(Context-before)的情況下對token? 的概率建模來計算序列出現的概率：

• • 許多主流的神經語言模型都會先給序列中的token計算一個「上下文無關」的token表示?，然后將它傳遞給L層前向LSTM。這樣的話，在每個位置?，每個LSTM層輸出一個「上下文相關」的表示?，其中?(在ELMo中L取2)

• 后向語言模型與前向類似，但是它是“從后往前建模的”，通過在給定下文?(Context-after)的情況下對token? 的概率建模來計算序列出現的概率：

• • 與前向語言模型類似，后向語言模型在每個位置?，每個LSTM層同樣會輸出一個「上下文相關」的表示?，其中?

  • 需要注意的是，上述「上下文無關」的token表示? 是前后向語言模型共享的

因此，由于ELMo結合了前后向語言模型，故其目標是同時最大化前后向語言模型的對數似然：

其中：

• 為token表示的參數(前后向語言模型共享)

• 為softmax分類的參數(前后向語言模型共享)

• 分別表示前后向語言模型LSTM層的參數

綜上所述，ELMo的訓練過程即為一個前后向語言模型的訓練過程，通過上述描述則一目了然，而其損失函數即為簡單的分類損失，取決于源碼實現，不同源碼中的實現可能略有不同。

3.ELMo訓練好了之后如何使用？

ELMo訓練好了該如何使用實際上指的是其第一階段的預訓練過程訓練完畢，下游任務如何利用預訓練好的embedding，在問題1中已經有了比較詳細的解讀，在該問題則對其進行公式化的說明。首先由1可知，對于序列中的每個token，一個L層的雙向語言模型就會得到其「2L+1個表示」，即為：

其中， 為token的表示(即?)， 為每個雙向LSTM層得到的表示。

「需要注意的是，這里是將整個句子輸入到雙向語言模型(這里用的是雙向LSTM網絡)中，正向和反向LSTM網絡共享token embedding的輸入，源碼中token embedding、正向、反向LSTM的hidden state均為512維度，一個長度為nsentences的句子，經過ELMo預訓練網絡，最后得到的embedding的維度為：(n_sentences, 3, max_sentence_length, 1024)」

那么下游任務如何利用這些表示呢？下游任務將所有表示都利用起來，并給他們分配權重，即為：

其中， 是經過softmax歸一化之后的權重，標量參數? 允許任務模型縮放整個ELMo向量。需要注意的是， 是一個超參數，實際上這個參數是經驗參數，一定程度上能夠增強模型的靈活性。總結起來，整個為下游任務獲取embedding的過程即為：

下游任務獲取embedding

4.ELMo的優點是什么？ELMo為什么有效？

ELMo利用了深度上下文單詞表征，該模型的優點：

• 引入雙向語言模型，其實是 2 個單向語言模型（前向和后向）的集成；

• 通過保存預訓練好的 2 層 biLSTM，通過特征集成或 finetune 應用于下游任務；

總結來說，通過上述結構，ELMo能夠達到區分多義詞的效果，每個單詞(token)不再是只有一個上下文無關的embedding表示。

那么ELMo為什么有效呢？我認為主要原因有以下幾點：

• 首先，ELMo的假設前提是一個詞的詞向量不應該是固定的，所以在多義詞區分方面ELMo的效果必然比word2vec要好。

• 另外，ELMo通過語言模型生成的詞向量是通過特定上下文的“傳遞”而來，再根據下游任務，對原本上下文無關的詞向量以及上下文相關的詞向量表示引入一個權重，這樣既在原來的詞向量中引入了上下文的信息，又能根據下游任務適時調整各部分的權重(權重是在網絡中學習得來的)，因此這也是ELMo有效的一個原因。

5.ELMo為什么能夠達到區分多義詞的效果？

在ELMo第一階段訓練完成之后，將句子輸入模型中在線提取各層embedding的時候，每個單詞(token)對應兩邊LSTM網絡的對應節點，那兩個節點得到的embedding是動態改變的，會受到上下文單詞的影響，周圍單詞的上下文不同應該會強化某種語義，弱化其它語義，這樣就達到區分多義詞的效果了。需要注意的是，第一個單詞和最后一個單詞也是有上下文的，譬如說第一個單詞的上文是一個特殊的token <BOS>，下文是除第一個單詞外的所有單詞，最后一個單詞的下文是一個特殊的token <EOS>，上文是除最后一個單詞外的所有單詞。

論文中也舉例說明了這個問題，圖示如下：

多義詞問題，來源張俊林老師文章^[2]

上圖對于Glove訓練出的word embedding來說，多義詞比如play，根據它的embedding找出的最接近的其它單詞大多數集中在體育領域，這很明顯是因為訓練數據中包含play的句子中體育領域的數量明顯占優導致；而使用ELMo，根據上下文動態調整后的embedding不僅能夠找出對應的“演出”的相同語義的句子，而且還可以保證找出的句子中的play對應的詞性也是相同的，這是超出期待之處(當然也可能是因為論文中給出的例子都是比較好的例子，不過ELMo這樣的做法是值得學習的)。

6.ELMo把三種不同的向量疊加的意義是什么？這樣做能達到什么樣的效果？

因為通過ELMo模型，句子中每個單詞都能得到對應的三個Embedding：

• 最底層是單詞的Word Embedding；

• 往上走是第一層雙向LSTM中對應單詞位置的Embedding，這層編碼單詞的句法信息更多一些；

• 再往上走是第二層LSTM中對應單詞位置的Embedding，這層編碼單詞的語義信息更多一些。

「需要注意的是，這里得到的結論是通過實驗驗證的，是在這樣的模型設計中，能夠得到上述結論，可能不同模型結構，得到的結論又是不一樣的。」

ELMo把三種不同的向量疊加的意義主要體現在以下兩個點：

• 一是之前很多方法都只用了最頂層LSTM的hidden state，但是通過實驗驗證，在很多任務中，將每一層hidden state融合在一起會取得更好的效果；

• 二是在上述實驗中得到結論，每一層LSTM得到單詞的embedding所蘊含的信息是不一樣的，因此將所有信息融合起來，會讓單詞embedding的表達更豐富。

這樣做能夠起到區分多義詞的效果，如問題5，而且在論文展示的6個任務中都取得了SOTA的效果。參考：^[2][3][4][5]

本文參考資料

[1]

Character-Aware Neural Language Models: https://arxiv.org/abs/1508.06615

[2]

從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史: https://zhuanlan.zhihu.com/p/49271699

[3]

The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning): http://jalammar.github.io/illustrated-bert/

[4]

ELMo-TensorFlow源碼: https://github.com/allenai/bilm-tf

[5]

機器學習之路: https://zhuanlan.zhihu.com/Adherer-machine-learning

-?END?-

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（pdf更新到25集）本站qq群1003271085，加入本站微信群請回復“加群”獲取一折本站知識星球優惠券，請回復“知識星球”喜歡文章，點個在看

總結

以上是生活随笔為你收集整理的关于ELMo，面试官们都怎么问的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。