來源：AINLPer微信公眾號
編輯: ShuYini
校稿: ShuYini
時間: 2019-8-14

引言

????兩篇文章與大家分享，第一篇作者對通用文本匹配模型進行探索，研究了構建一個快速優良的文本匹配模型所需條件，在此條件下，其模型性能與最先進的模型相當，且參數少速度快（6倍）；第二篇主要研究了集成語言輸入特征對神經網絡模型產生的影響，并且發現輸入特性對性能的影響比我們研究的任何體系結構參數都要大。

First Blood

TILE: Simple and Effective Text Matching with Richer Alignment Features.

Contributor : 南京大學&&阿里AI團隊

Paper: https://www.aclweb.org/anthology/P19-1465

Code: https://github.com/hitvoice/RE2

文章摘要

????文中提出了一種快速、強悍神經網絡方法來用于通用文本的匹配。我們研究了構建一個快速且性能良好的文本匹配模型的足夠條件，并建議保持三個用于序列間對齊的關鍵特性:原始點對齊特性、先前對齊特性和上下文特性，同時簡化所有剩余組件。我們在自然語言推理、意圖識別和答案選擇等任務中，對4個研究良好的基準數據集進行了實驗。我們的模型性能與最先進的模型相當，并且使用的參數更少，除此之外，在推理速度方面與類似模型的相比，至少要快6倍。

本文模型算法RE2

????下圖給出了總體架構的說明，兩個文本序列在預測層前對稱處理，除預測層中參數外的所有參數在兩個序列之間共享。

????其中，對齊融合層的輸入分為三個部分:原始點態特征(嵌入向量，用空白矩形表示)、先前對齊特征(剩余向量，用對角線矩形表示)和上下文特征(編碼向量，用實矩形表示)。右邊的架構與左邊的架構相同，所以為了簡潔起見省略了它。

Augmented Residual Connections（增強剩余鏈接）

????為了給對齊過程提供更豐富的特性，RE2采用了增強版的剩余連接來連接連續塊。在增強剩余連接的情況下，對齊和融合層的輸入分為三個部分，即原始的點方向特征(嵌入向量)、先前對齊特征(殘差向量)和后編碼層上下文特征(編碼向量)。這三個部分在文本匹配過程中都起到了互補的作用。

AlignmentLayer（對齊層）

????對齊層(如上面架構圖所示)將來自兩個序列的特性作為輸入，并計算對齊后的表示形式作為輸出。

Fusion Layer（融合層）

????融合層比較三個透視圖中的局部表示和對齊表示，然后將它們融合在一起。

Prediction Layer（預測層）

????預測層以池層中v1和v2兩個序列的向量表示作為輸入，預測最終目標。

實驗結果

主要用到的測試集

SNLI是一個用于自然語言推理的基準數據集。

Scietail是一個由科學問答構成的分類數據集。

Quora Question Pairs2 是一個用于意圖識別的數據集，有兩個類指示一個問題是否是另一個問題的意圖。WikiQA是基于維基百科的基于檢索的問答數據集。

自然語言推理上結果

意圖識別結果

答案選擇結果

Double Kill

TILE: Extending Neural Question Answering with Linguistic Input Features

Contributor : 比勒費爾德大學（德國）

Paper: https://www.aclweb.org/anthology/W19-5806

Code: None

文章摘要

????在一般領域數據集中，基于神經網絡的問答已經取得了相當大的進展。為了探索有助于問答模型推廣潛力的方法，我們重新實現了最先進的體系結構，在開放域數據集上執行參數搜索，并評估了集成語言輸入特征（如部分語音標記、句法依賴關系和語義角色）的第一種方法。 實驗結果表明，添加這些輸入特性對性能的影響比我們研究的任何體系結構參數都要大。這些語言知識層有可能顯著提高神經網絡QA模型的泛化能力，從而促進跨域模型轉移和領域無關的QA模型的開發。

利用語言輸入特性擴展QANet

????為了評估神經網絡QA模型中語言輸入特性對齊產生的影響，我們利用QANet(作者重新實現)作為測試平臺。當嘗試將模型調整到其他領域時，這可能會發生意想不到的結果:雖然獲取額外的訓練數據代價比較大，但是這些語言輸入特性可以通過提供尺度變換、領域無關的信息源來提高性能。我們使用三種不同的語言特性來擴展每個單詞的輸入:詞性標注、依賴關系標記和語義角色。

PoSTags（詞性標注），我們假設輸入標記的語音部分信息將有助于神經網絡通過減少特定問題的答案候選數量，為了提取所有上下文與問題的PoStag，我們使用spaCy library數據集中的粗略PoStag。

Dependency Relation Labels（依賴關系），我們使用spaCy提取問題和上下文的依賴信息。

Semantic Roles（語義角色），語義角色標記（SRL）通過識別事件（謂詞）及其參與者（語義角色）來發現句子中淺層的語義結構。 我們對Bert模型做了進一步的修改，其中主要修改的如下：

QANet語言特征的整合，在標準的QANet體系結構中，單詞和對應的字符被單獨嵌入，然后連接起來，以獲得每個輸入單詞的一個表示向量。在Sennrich和Haddow(2016)之后，我們通過將上面描述的每個語言輸入特征映射到它自己的嵌入空間，然后將它們包含到連接中，從而豐富了這個過程。下圖顯示了QANet的輸入嵌入層的更新版本，其中包括語言輸入特性。

實驗結果

訓練參數對實驗結果的影響

改變每種類型的輸入特征及其組合的嵌入維數的結果

三種語言輸入特征相結合的結果

ACED

Attention

更多自然語言處理相關知識，還請關注AINLPer公眾號，極品干貨即刻送達。

總結

以上是生活随笔為你收集整理的antd 文本域超长问题_「自然语言处理(NLP)」阿里团队--文本匹配模型（含源码）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。