?PaperWeekly 原創 · 作者 |?王馨月

單位 |?四川大學

研究方向?|?自然語言處理

新任務

1.1 NAREOR

論文標題：

NAREOR: The Narrative Reordering Problem

論文鏈接：

https://arxiv.org/abs/2104.06669

文本的結構（順序）隱含了許多信息，重新排列敘事會影響讀者從中得出的時間、因果、事件等推論，進而對其解釋和趣味性產生影響。本文作者提出了一個新的任務——敘事重新排序（Narrative Reordering, NAREOR），即以不同的敘事順序重寫給定的故事，同時保留其情節。作者通過人類以非線性順序重寫 ROCStories 中的故事，并對其進行詳細分析，提供了一個數據集 NAREORC。此外，作者提出了具有合適評估指標的訓練方法。

上圖是本文任務和數據集的示例。左側是原始輸入故事 ，上方是敘事順序 ，右側是人類重寫的故事 。挑戰在于，簡單地重新排序句子是遠遠不夠的，因為必須調整重寫的文本以處理共指、時態和其他語篇依賴才能形成正確且有效的故事，一次遺漏或不正確的編輯可能導致完全不同或無效的故事。

訓練過程涉及兩種特殊的訓練方法：

• 敘事去噪（NAR-denoise, NAR-d）：NAR-d 試圖模仿人類的重寫方式，學習從樸素的排序（簡單地交換位置）轉換為高質量的文本。它涉及模型訓練的兩個階段。第一階段是故事級去噪的無監督訓練，第二個階段是在上一階段基礎上的監督訓練。

• 敘事重排（NAR-reorder, NAR-r）：NAR-r 模型處理給定目標順序的重新排序，而不是事先進行樸素的重新排序。將輸入 ， 編碼為用于訓練的標記序列，在逆方向 方向進行訓練，再進一步進行微調，在 方向進行訓練。

作者選擇 GPT-2、BART 和 T5 模型進行實驗，結果如上圖。

這篇文章提出的任務對于一些對文本順序敏感的任務都有一些幫助，比如論文寫作的論證以及臨床敘述生成患者病史等。

評估標準

2.1 Play the Shannon Game With Language Models

論文標題：

Play the Shannon Game With Language Models: A Human-Free Approach to Summary Evaluation

論文鏈接：

https://arxiv.org/abs/2103.10918

項目地址：

https://github.com/primerai/blanc/tree/master/shannon

這篇文章作者引入了一種新的無參考摘要評估指標——香農分數（Shannon Score），思路來自 Hovy 和 Lin（1998）提出的香農游戲（Shannon Game）：分配給 3 個人一個字母一個字母地猜測文檔的任務，其中第一個人可以看文檔，第二個人可以看文檔摘要，第三個人什么也看不到。通過測量第二個人與其他人相比猜測文檔的嘗試次數，可以評估摘要中傳達了多少有關文檔的信息，從而衡量摘要的質量。作者還提出了一個稱之為信息差異的變體（Information Difference）。

假設我們有一個條件語言模型 ，表示對應于給定摘要 的文檔概率分布。使用這個條件語言模型，如果我們已經獲得了摘要 的信息，我們可以計算條件信息內容 作為從文檔 中獲得的信息量。

如果 是 的令人滿意的摘要，則 ＜，進一步將信息差異定義如下式，表示使用摘要和不使用摘要之間文檔信息的變化，它相當于文檔和給定摘要的文檔之間的對數似然比：

考慮到最能保存文檔信息的摘要是文檔本身，可以將 視為 的下界。進一步可以計算香農分數指標為：

香農分數為我們提供了摘要的有用程度與文檔本身的有用程度之間的比率。

上圖是本文方法的一個圖例，作者挑選了一個文檔摘錄，并將其與編寫的兩個抽象摘要配對。雖然這兩個摘要在語法上都是正確的，并且主要由文檔中的單詞組成，但其中一個摘要質量高，另一個質量低。圖中較暗的背景顏色表示較高的信息量。

可以看出，低質量的摘要可能有助于模型預測諸如“CNN”之類的詞，但對于摘要中混淆使用的諸如“哺乳動物”和“網站”之類的詞則無濟于事。除了每個句子的第一個或兩個標記外，閱讀已經閱讀過的文檔獲得的信息很少。這是作者自回歸語言建模設置的產物，因此測量 對規范香農分數很有用。

作者在文中還進一步驗證了本文提出的指標的有效性，指標還可能對于例如釋義或以查詢為中心的摘要任務有一定作用。

2.2 InfoLM

論文標題：

InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation

論文鏈接：

https://arxiv.org/abs/2112.01589

這篇文章作者引入了 InfoLM —— 一種新的評估文本摘要和 data2text 生成的指標。InfoLM 與現有的基于 BERT 的指標（如 BERTSCORE、MOVERSCORE）不同，它直接依賴于輸出離散概率分布的預訓練掩碼語言模型（pre-trained masked language model, PMLM）。由于 InfoLM 依賴于 token 的統計數據，因此也可以將其視為基于字符串的度量標準。并且，因為 PMLM 還允許為釋義分配高權重并捕獲長程依賴關系，InfoLM 不會產生基于字符串的度量的常見缺陷。

InfoLM 包含以下幾個組件：（1）一個 PMLM，用于計算詞匯表在給定候選句子和參考句子的情況下觀察詞匯的每個 token 的概率的離散分布。（2）對比函數 ，用于測量上述概率分布之間的差異（即文本相似程度）。

上式為 InfoLM的 計算公式，其中 和 是兩個離散分布，分別表示在給定候選句子 和參考句子 的情況下觀察詞匯的每個 token 的概率， 和 分別衡量候選文本和參考文本中第 k 個 token 的重要性。計算公式如下：

InfoLM 的完整算法如下圖：

作者對文本摘要任務和 data2text 任務進行實驗，在原文和附錄中有非常詳細的數據記錄，得出結果證明了本文方法的有效性。作者還得出結論：在可用的對比度量中，Fisher-Rao 距離是無參數的，因此在實踐中很容易使用，而 AB-Divergence 有更好的結果，但需要選擇 α 和 β。

2.3 The King is Naked

論文標題：

The King is Naked: on the Notion of Robustness for Natural Language Processing

論文鏈接：

https://arxiv.org/abs/2112.07605

項目地址：

https://github.com/EmanueleLM/the-king-is-naked

這篇文章的作者認為，最初為圖像引入的魯棒性標準并不適用于 NLP。因此，作者提出了（局部）語義魯棒性——根據預測在模型中引起的偏差來表征，通過測量語言規則的魯棒性而不是單詞替換或刪除。作者使用基于模板的生成測試研究了一系列原版和經過穩健訓練的架構的語義魯棒性。作者得出結論：語義魯棒性可以提高模型對于復雜語言現象的性能，盡管相對于對抗性魯棒性更難計算。

對比局部連續魯棒性與局部離散魯棒性：

• 連續魯棒性：廣泛用于圖像，是基于嵌入向量進行操作的。但由于自然語言是離散的，在連續魯棒性的定義中， 有界魯棒性意味著這個 有界區域中的任何向量都是安全的。這種假設與語言本身特性是不一致的，因為網絡可能會呈現一個決策邊界，其中不是正確單詞的對抗性攻擊會限制驗證或嚴重減少安全區域。如下圖所示：

• 離散魯棒性：是基于符號進行操作的，且局部連續魯棒性以為只局部離散魯棒性，反之則不成立。

這兩種魯棒性公式都只允許對符號替換或刪除進行魯棒性測試。而將一個詞局部替換為其他詞很難對釋義測試魯棒性。從語言學的角度來看，這個問題的出現是因為自然語言中單詞的頻率遵循 Zipf 定律 ，其中罕見的術語和結構——因此是邊緣情況——比其他自然現象更頻繁地出現。且我們不能保證離散和連續設置中的擾動不會違反所考慮的任務。由于實現離散和連續魯棒性的方法允許在選擇替代品時進行弱監督，因此擾動可能會偏離正在考慮的任務。

作者因此提出語義魯棒性：對于語義分析任務 ，輸入 ， 為接受的方案， 為拒絕的方案。則在語言規 則 下，對于給定模型 ，和評估標準 ，當 成立且 時，我們說 對于 和 是 語義魯棒的（-semantically robust）。

作者進一步定義了語義魯棒性的有界不變條件并證明局部語義魯棒性可以推廣到全局語義魯棒性。

作者進行了針對以下問題進行了實驗：（i）經典意義上的魯棒模型是否在語義上也是魯棒的；（ii）對特定語言現象的魯棒性是否是訓練準確的 NLP 分類器的副產品；（iii）對于不同的架構，增強監督訓練（使用包含特定語言現象的文本）是否會在包含相同現象的未見測試樣本上誘導泛化；（iv）是否有可能訓練出既準確又具有語義魯棒性的模型，以及（v）無監督學習在多大程度上有助于語義魯棒性。

作者在斯坦福情感樹庫數據集（SST-2）和 Barnes 收集的數據集上使用充分訓練并微調過的模型進行實驗。結果如下圖：

本文提出的語義魯棒性雖然很難實現，但對傳統魯棒性難以解決的復雜問題具有更好的效果，這對于解決其他 NLP 任務可能有幫助。

對話系統

3.1 GALAXY

論文標題：

GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection

論文鏈接：

https://arxiv.org/abs/2111.14592

這篇文章作者提出了一種名為 GALAXY 的用于面向任務對話系統的生成式半監督預訓練模型，旨在以低成本將對話策略的知識明確地注入到預訓練中，同時保持其強大的對話理解和生成能力。作者為面向任務的對話（Task-oriented dialog, TOD）構建了一個統一的對話行為（Dialog act, DA）分類法，并開發了一個名為 UniDA 的新標記數據集。作者還收集和處理了一個名為 UnDial 的大規模未標記對話語料庫，其中包含 3500 萬個語料，場景包含從在線論壇到客戶服務。

上圖為本文的預訓練對話模型架構，左側是輸入表示，右側是預訓練組件。預訓練組件包含四個部分：響應選擇（Response Selection）；響應生成（Response Generation）；對話行為預測（DA Prediction）；一致性正則化（Consistency Regularization）。

作者還提出了一種半監督預訓練范式，對所有數據應用一致性正則化，能夠最小化對丟失擾動樣本進行的模型預測之間的雙向 KL 散度，這有助于更好地從未標記的對話語料庫中學習表示。作者還在未標記數據的 KL（Kullback-Leibler）損失上添加了一個可學習的控制門，這樣只有好的樣本才被允許進行一致的正則化。

如上圖所示，實驗表明，GALAXY 顯著改進了 TOD 系統，并在 In-Car、MultiWOZ2.0 和 MultiWOZ2.1 上取得了SOTA，將端到端綜合得分推高至 107.45、110.35 和分別為 110.76。作者還觀察到，GALAXY 在各種低資源設置下都具有很強的 few-shot 能力。

上圖是一個響應生成的示例，GALAXY 在前兩個回合中選擇了正確的對話行為，以便整個對話可以引導成功完成任務。相反，UBAR 在開始回合接受了錯誤的 DA notify-failure，在第二回合接受了冗余的 DA 請求，從而導致交互失敗。

作者在附錄中還給出了一種 DA 的分類方法，如下圖所示，可能對進一步的工作有幫助。

3.2 Hybrid Curriculum Learning

論文標題：

Hybrid Curriculum Learning for Emotion Recognition in Conversation

論文鏈接：

https://arxiv.org/abs/2112.11718

對話情緒識別（Emotion recognition in conversation, ERC）旨在檢測每個話語的情緒標簽。近期研究證明，以有意義的順序提供訓練示例而不是隨機排序可以提高模型的性能。這篇文章的作者提出了一個面向 ERC 的混合課程學習框架。框架由兩個課程組成：（1）會話級課程（conversation-level curriculum, CC）；（2）話語級課程（utterance-level curriculum, UC）。

在 CC 中，作者基于對話中的“情緒轉換”頻率構建了一個難度測量器，然后根據難度測量器返回的難度分數將對話安排在“從易到難”的模式中。UC 是從情感相似性的角度實施的，它逐漸增強了模型識別混亂情緒的能力。通過提出的與模型無關的混合課程學習策略，作者實驗發現各種現有 ERC 模型的性能顯著提升，并且能夠在四個公共 ERC 數據集上實現 SOTA。

在課程學習（curriculum learning, CL）中，典型的課程設計包含兩個核心組件：難度測量器（difficulty measurer）和訓練調度器（training scheduler）。難度測量器用于量化每個數據示例的相對“容易程度”。訓練調度器根據難度測量器的判斷，在整個訓練過程中安排數據子集的順序。

上圖是本文提出的混合課程學習（hybrid curriculum learning, HCL）框架示意圖。對于 CC，作者設計了一個基于情緒轉換的難度測量器。一種廣泛使用的 CL 策略稱為 baby step，被用作訓練調度程序。對于 UC，在訓練過程中，同一會話中的話語必須同時輸入到一個批次中。因此，采用傳統的訓練調度器（如 baby step）來安排話語的訓練順序是不可行的。作者提出了基于情感相似性的課程學習來解決這個問題。下圖是作者基于之前工作提出的情緒喚醒-效價（arousal-valence）坐標，其中包含標準 ERC 數據集中的所有情緒。每個情緒標簽都可以映射到單位圓上的一個點，可以借此計算情感標簽之間的相似度。

下圖是 HCL 的訓練過程。

下圖是一些 baseline 模型使用 HCL 的對比結果，可以看出 HCL 能使現有模型性能顯著提高。?

下圖是使用 HCL 的示例。目標是預測藍色框中最后一句話的情感標簽。由于情緒轉換的發生，實驗中的所有 baseline 方法都容易錯誤地將情緒識別為沮喪。而大多數“X+HCL”方法都能夠正確識別該話語的情緒，這表明 HCL 在一定程度上緩解了這個問題。右邊描述了一個帶有混淆標簽的案例。紅框中最后一句話的情感標簽是激動。DialogueGCN 和 DAG-ERC 等一些 baseline 模型將情緒誤認為是快樂的。在使用 HCL 框架后，DialogueGCN+HCL 和 DAG-ERC+HCL 成功地將情緒識別為正確的標簽興奮。

3.3?CoG-BART

論文標題：

Contrast and Generation Make BART a Good Dialogue Emotion Recognizer

論文鏈接：

https://arxiv.org/abs/2112.11202

項目地址：

https://github.com/whatissimondoing/CoG-BART

這篇文章是邱錫鵬老師等人關于對話情緒識別（Emotion recognition in conversation, ERC）的一篇文章。作者引入了對話級 Transformer 層來模擬話語之間的長期上下文依賴關系。采用監督對比學習（supervised contrastive learning, SCL）來緩解對相似情緒進行分類的困難。還引入了一個輔助響應生成任務，以增強 ERC 捕獲上下文信息的能力。

最后，作者利用 BART，作為主干模型，并通過對比和生成損失來增強它。與 baseline 模型相比，本文提出的對比生成增強 BART（COnstrastive-and-Generation-enhanced BART, CoG-BART） 在四個 ERC 數據集上獲得了 SOTA。此外，消融實驗和案例研究證明了 ERC 任務中對比和生成損失的有效性。

上圖是本文提出的 CoG-BART 框架的示意圖。

在 ERC 的監督對比學習過程中，首先將說話者拼接在話語前，再灌入 BART 的共享 Embedding 層，實現話語 encoding。再將輸出結果進行 Max-pooling，得到話語的聚合表示。為了對對話的歷史上下文信息進行建模，我們利用對話級 Transformer 層作為上下文編碼器。Multi-head 注意力機制可以捕捉多輪對話中不同對話之間的交互，并聚合不同的特征以獲得最終的隱式表示，從而充分建模不同話語和上下文之間的復雜依賴關系關系，就此得到了話語的上下文依賴表示。

監督對比學習通過充分利用標簽信息，將批次中具有相同標簽的所有示例都視為正例，對預訓練模型進行微調時使得小樣本學習更加穩定。對于 ERC，某些數據集中每個類別的樣本數量是高度不平衡的，而有監督的對比學習在計算損失時會掩蓋自己。如果批次中某個類別只有一個樣本，則不能直接用于計算損失。因此，對話語的隱藏狀態進行復制，并對其梯度進行分離，使得參數優化保持穩定。

為了便于模型在確定話語情感時考慮更豐富的上下文信息，模型需要在給定當前話語的情況下生成其后續話語。后續話語中每個 token 的輸出隱藏狀態由 BART 解碼器順序生成。

模型訓練的損失由三部分組成：上下文建模后得到的隱藏狀態通過多層感知器獲得計算交叉熵損失的 logits、監督對比損失和響應生成損失。損失是三個分量的加權和，它們的權重之和等于 1。

實驗結果如上圖所示，可以看出 CoG-BART 取得了很好的結果。作者還對 SCL 進行了定性和定量分析以及消融實驗，表明有監督的對比學習可以有效地提高模型識別情緒的效率，從而提高整體性能。此外，作為輔助任務的響應生成有助于模型充分考慮上下文，以識別不同上下文中語義相似話語的情緒。

3.4?KEMP

論文標題：

Knowledge Bridging for Empathetic Dialogue Generation

論文鏈接：

https://arxiv.org/abs/2009.09708

項目地址：

http://github.com/qtli/KEMP

缺乏外部知識使得移情（empathetic）對話系統難以感知內隱情緒并從有限的對話歷史中學習情感交互。為了解決上述問題，作者提出了一種知識感知的移情對話生成方法（Knowledge-aware EMPathetic dialogue generation method, KEMP）。它由三個組件組成:情緒上下文圖、情緒上下文編碼器和情緒依賴解碼器。情感上下文圖是通過將對話歷史與外部知識相結合來構建的。

情感上下文編碼器使用圖形感知轉換器來學習圖形嵌入，并提出一個情感信號感知程序來感知導致響應生成的上下文情感。以知識豐富的上下文圖為條件，作者提出了一種情緒交叉注意機制來從情緒上下文圖中學習情緒依賴關系。作者在基準數據集上進行的大量實驗驗證了所提出方法的有效性。此外，作者發現本文的方法的性能可以通過與正交工作的預訓練模型集成來進一步提高。

上圖顯示了移情對話的真實示例。如果我們使用說話者輸入的非停用詞作為查詢，通過外部知識獲取知識，我們可以獲得各種與情緒相關的概念及其情緒強度值，這有助于理解情緒。作者定量研究了外部知識在理解情感方面對移情對話語料庫的影響，發現響應與對話歷史幾乎沒有非停用詞重疊。這種現象意味著人類需要推斷出更多的外部知識來進行移情對話。

相比之下，如果我們將外部知識（即與情感相關的概念）納入系統，我們觀察到，對于大多數對話樣本，聊天機器人可以直接從由對話歷史中的非停用詞的知識路徑中獲得線索。因此，外部知識對于獲取有用的情感知識和提高移情對話生成的性能至關重要。

在調查過程中，作者觀察到另一種現象，即情感依賴和情感慣性在移情對話中通常與外部知識一起出現。作者使用基于 CNN 的情緒分類器標記話語，并可視化從說話者到聽眾的情緒轉換。如上圖所示，較暗的對角線網格表明聽眾傾向于反映他們的對話者以建立融洽的關系。此外，除了對角線方向（紅框內）外，還有一些復雜的情感過渡模式。因此，對對話者之間的情感依賴進行建模至關重要。

上圖是本文提出的 KEMP 框架的示意圖。KEMP 包含三部分:

情緒上下文圖：將對話歷史轉化為長的詞序列并插入 [CLS]，對每一個停用詞 從 ConceptNet 中選擇備選集合 。接著采用三個步驟來提煉與情感相關的知識：（1）通過過濾具有相關關系的元組來提取 的子集 ，以獲得移情響應和足夠的置信度分數。(2) 根據檢索到的概念的情緒強度值對元組進行排序。對于 ，選擇前 元組作為情感知識子圖。（3）應用 3 種類型的有向邊來連接頂點：（i）兩個連續單詞之間的臨時邊；（ii）詞 與其情感概念 之間的情感邊；（iii）[CLS] 和其他頂點之間的全局邊。最長得到情感上下文圖 。

情緒上下文編碼器：首先使用詞嵌入層和位置嵌入層將每個頂點 轉換為向量 和 。再將頂點狀態（對話歷史或外部知識）嵌入 。頂點 的向量表示是三種嵌入的組合。接著應用 Multi-head 關注鄰居節點獲得上下文表示。接著使用全局上下文信息更新頂點以模擬全局交互。模型從情緒上下文圖中學習情緒信號 來指導移情反應的產生，使用 softmax 操作的線性層將向量投影到情緒標簽上的情緒類別分布中，以識別移情反應的情緒信號 。與情感上下文編碼 一起，情感向量 和 將作為關鍵情感信號輸入解碼器，以引導移情響應的生成。

情緒依賴解碼器：decoder 是基于 transformer 層構建的。作者設計了兩種策略以改善上下文和情緒響應間的情緒依賴關系：（1）結合情緒特征（2）增強情緒注意力損失。

上圖是作者在 EMPATHETICDIALOGUES 數據集上進行實驗的結果。結果顯示，如果沒有情感建模，Transformer 只能基于語義映射生成流暢的響應，但無法表達多樣化的響應。

上圖是 KEMP 和基線模型在說話者兩種不同的情緒狀態下生成的響應。下劃線表示與知識相關的詞。可以看出 KEMP 對于外部知識的利用對于響應生成有很大提升。?

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的AAAI 2022有哪些值得读的NLP相关论文？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。