語言理解對計算機來說是一個巨大的挑戰。幼兒可以理解的微妙的細微差別仍然會使最強大的機器混淆。盡管深度學習等技術可以檢測和復制復雜的語言模式，但機器學習模型仍然缺乏對我們的語言真正含義的基本概念性理解。

但在2018年確實產生了許多具有里程碑意義的研究突破，這些突破推動了自然語言處理、理解和生成領域的發展。

我們總結了14篇研究論文，涵蓋了自然語言處理（NLP）的若干進展，包括高性能的遷移學習技術，更復雜的語言模型以及更新的內容理解方法。NLP，NLU和NLG中有數百篇論文，由于NLP對應用和企業AI的重要性和普遍性，所以我們從數百篇論文中尋找對NLP影響最大的論文。

2018年最重要的自然語言處理（NLP）研究論文

1.BERT：對語言理解的深度雙向變換器的預訓練?，作者：JACOB DEVLIN，MING-WEI CHANG，KENTON LEE和KRISTINA TOUTANOVA

論文摘要：

我們引入了一種名為BERT的新語言表示模型，它是Transformer的雙向編碼器表示。與最近的語言表示模型不同，BERT旨在通過聯合調節所有層中的左右上下文來預訓練深度雙向表示。因此，預訓練的BERT表示可以通過一個額外的輸出層進行微調，以創建適用于廣泛任務的最先進模型，例如問答和語言推理，而無需實質性的具體的架構修改。

BERT在概念上簡單且經驗豐富，它獲得了11項自然語言處理任務的最新成果，包括將GLUE基準推至80.4％（提升了7.6％）、MultiNLI準確度達到86.7%（提升了5.6％）、SQuAD v1.1問題回答測試F1到93.2%（提升了1.5％）。

總結

谷歌AI團隊提出了自然語言處理（NLP）的新前沿模型-BERT，它的設計允許模型從每個詞的左側和右側考慮上下文。BERT在11個NLP任務上獲得了新的最先進的結果，包括問題回答，命名實體識別和與一般語言理解相關的其他任務。

論文的核心思想是什么？

·通過隨機屏蔽一定比例的輸入token來訓練深度雙向模型-從而避免單詞間接“看到自己”的周期。

·通過構建簡單的二進制分類任務來預訓練句子關系模型，以預測句子B是否緊跟在句子A之后，從而允許BERT更好地理解句子之間的關系。

·訓練一個非常大的模型（24個Transformer塊，1024個隱藏層，340M參數）和大量數據（33億字語料庫）。

什么是關鍵成就？

·刷新了11項NLP任務的記錄，包括：

·獲得80.4％的GLUE分數，這比之前最佳成績提高了7.6％;

·在SQuAD 1.1上達到93.2％的準確率。

·預訓練的模型不需要任何實質的體系結構修改來應用于特定的NLP任務。

AI社區對其看法？

·BERT模型標志著NLP的新時代；

·兩個無人監督的任務在一起為許多NLP任務提供了很好的性能；

·預訓練語言模型成為一種新標準；

未來的研究領域是什么？

·在更廣泛的任務上測試該方法。

·收集BERT可能捕獲或未捕獲的語言現象。

最可能的商業應用是什么？

BERT可以幫助企業解決各種NLP問題，包括：

?

• 提供更好的聊天機器人客服體驗;
• 客戶評論分析;
• 搜索相關信息；

?

你在哪里可以代碼？

·Google Research發布了一個官方Github存儲庫，其中包含Tensorflow代碼和BERT預訓練模型。

·BIT的PyTorch實現也可以在GitHub上獲得。

2.人類注意力的序列分類，作者：MARIA BARRETT，JOACHIM BINGEL，NORA HOLLENSTEIN，MAREK REI，ANDERSS?GAARD

論文摘要

學習注意力函數需要非常大規模的數據，不過有很多自然語言處理任務都是對人類行為的模擬，在這篇論文中作者們就表明人類的注意力確實可以為 NLP 中的許多注意力函數提供一個不錯的歸納偏倚。具體來說，作者們根據人類閱讀語料時的眼睛動作追蹤數據估計出了「人類注意力」，然后用它對 RNN 網絡中的注意力函數進行正則化。作者們的實驗表明，人類注意力在大量不同的任務中都帶來了顯著的表現提升，包括情感分析、語法錯誤檢測以及暴力語言檢測。

總結

Maria Barrett和她的同事建議使用從眼動（eye-tracking）追蹤語料庫中獲取的人類注意力來規范循環神經網絡（RNN）中的注意力。通過利用公開可用的眼動追蹤語料庫，即通過眼睛跟蹤測量（例如注視持續時間）增強的文本，它們能夠在NLP任務中顯著提高RNN的準確性，包括情緒分析、濫用語言檢測和語法錯誤檢測。

論文的核心思想是什么？

·???????使用人的注意力，從眼動追蹤語料庫中估計，以規范機器注意力。

·???????模型的輸入是一組標記序列和一組序列，其中每個標記與標量值相關聯，該標量值表示人類讀者平均專注于該標記的注意力。

·???????RNN聯合學習循環參數和注意力功能，但可以在來自標記序列的監督信號和眼睛跟蹤語料庫中的注意力軌跡之間交替。

·???????建議的方法不要求目標任務數據帶有眼睛跟蹤信息。

什么是關鍵成就？

·???????在注意力序列分類任務中引入循環神經結構。

·???????證明使用人眼注意力（從眼動追蹤語料庫中估計）來規范注意力功能可以在一系列NLP任務中實現顯著改善，包括：

§??情緒分析，

§??檢測語言檢測，

§??語法錯誤檢測。

·???????性能比基線平均誤差減少4.5％。這些改進主要是由于召回率（recall）增加。

AI社區對其看法？

·???????該論文獲得了關于計算自然語言學習頂級會議的CoNLL 2018人類語言學習和處理啟發的最佳研究論文特別獎。

未來的研究領域是什么？

·???????在學習人類相關任務時，探索利用人類注意力作為機器注意力的歸納偏見的其他可能性。

什么是可能的商業應用？

·???????RNN結合人類注意力信號，可應用于商業環境：

§??加強客戶評論的自動分析;

§??過濾掉濫用的評論，回復。

你在哪里可以得到實現代碼？

·???????本研究論文的代碼可在GitHub上獲得。

3.基于短語和神經元的無監督機器翻譯，作者：GUILLAUME LAMPLE，MYLE OTT，ALEXIS CONNEAU，LUDOVIC DENOYER，MARC'AURELIO RANZATO

論文摘要

機器翻譯系統在某些語言上實現了接近人類的性能，但其有效性強烈依賴于大量并行句子的可用性，這阻礙了它們適用于大多數語言。本文研究了如何在只能訪問每種語言的大型單語語料庫時學習翻譯。我們提出了兩種模型變體，一種神經模型，另一種基于短語的模型。兩個版本都利用參數的初始化、語言模型的去噪效果以及通過迭代反向翻譯自動生成并行數據。這些模型明顯優于文獻中的方法，同時更簡單且具有更少的超參數。在廣泛使用的WMT'14英語-法語和WMT'16德語-英語基準測試中，我們的模型不使用單個平行句的情況下分別獲得28.1和25.2 BLEU分數，超過現有技術水平11 BLEU分。在英語-烏爾都語和英語-羅馬尼亞語等低資源語言中，我們的方法比半監督和監督方法獲得的效果都要好，我們的NMT和PBSMT代碼是公開的。

總結

Facebook AI研究人員承認了缺乏用于訓練機器翻譯系統的大型并行語料庫，并提出了一種更好的方法來利用單語數據進行機器翻譯（MT）。特別是，他們認為通過適當的翻譯模型初始化、語言建模和迭代反向翻譯，可以成功地完成無監督的MT。研究人員提出了兩種模型變體，一種是神經模型，另一種是基于短語的模型，它們的性能都極大地超越了目前最先進的模型。

論文的核心思想是什么？

·???????無監督的MT可以通過以下方式完成：

§??合適的翻譯模型初始化（即字節對編碼）;

§??在源語言和目標語言中訓練語言模型，以提高翻譯模型的質量（例如，進行本地替換，單詞重新排序）;

§??用于自動生成并行數據的迭代反向轉換。

·???????有兩種模型變體：神經和基于短語：

§??神經機器翻譯一個重要的屬性：跨語言共享內部表示。

§??基于短語的機器翻譯在低資源語言對上優于神經模型，且易于解釋和快速訓練。

什么是關鍵成就？

·???????基于神經和短語的機器翻譯模型顯著優于以前的無監督，例如：

§??對于英語-法語任務，基于短語的翻譯模型獲得的BLEU分數為28.1（比之前的最佳結果高出11 BLEU分）;

§??對于德語-英語任務，基于神經和短語的翻譯模型組合得到BLEU得分為25.2（高出基線10個BLEU點）。

·???????無監督的基于短語的翻譯模型實現了超過使用10萬個并行句子訓練的監督模型對應的性能。

AI社區的對其想法？

·???????該論文在自然語言處理領域的領先會議被評為EMNLP 2018評為最佳論文獎。

未來的研究領域是什么？

·???????尋找更有效的原則實例或其他原則。

·???????擴展到半監督模型。

什么是可能的商業應用？

·???????改進其中沒有足夠的并行語料庫來訓練受監督的機器翻譯系統的機器翻譯結果。

你在哪里可以得到實現代碼？

·???????Facebook團隊在GitHub上提供了本研究論文的原始實現代碼。
未完待續......

?

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的可应用于实际的14个NLP突破性研究成果（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。