論文筆記整理：胡楠，東南大學博士。

---

來源：AAAI 2020

動機

現在的將外部知識整合到對話系統中的研究仍然存在一定缺陷。首先，先前的方法難以處理某些語句的主語和關系，比如當語句中的相關實體彼此相距較遠時。其次，先前的基于生成的方法逐字生成響應，缺乏全局視角導致語句與潛在響應（實體展開）之間的知識聯系被忽略了，使得響應中生成的知識（實體）相對于語句而言是不合理的。最后，大多數以前的研究僅通過合并知識庫中來豐富實體或三元組以進行生成響應，但是在輸入語句確實很短的情況下，很難檢索相關事實并產生有意義的響應。

為了解決上述挑戰，論文提出了一種知識感知對話生成模型TransDG，該模型可以將知識庫中的外部知識有效地融合到seq2seq模型中，從而通過遷移問題建模和知識匹配能力來生成信息性對話。

貢獻

文章的主要貢獻：

（1）提出了一種新穎的知識感知對話生成模型TransDG，該模型將問題理解和事實提取能力從預先訓練的KBQA模型中轉移出來，以促進事后理解能力和KB事實知識選擇能力。

（2）提出了一種多步解碼策略，該策略可以捕獲信息和響應之間的知識聯系。第一步解碼器生成的語句和草稿響應均與KB的相關事實相匹配，這使得第二步解碼器生成的最終響應相對于語句更為合適和合理。

（3）提出了一種響應指導注意機制，該機制利用k-最佳響應候選項引導模型關注相關特征。

（4）在真實對話數據集上進行的大量實驗表明，從定量和定性的角度來看論文的模型均優于比較的方法。

模型

TransDG模型包含兩個部分：KBQA模型和對話生成模型，其中從KBQA任務中學到的知識將在編碼和解碼階段遷移到對話生成。

KBQA模型：

編碼層

問題表示：采用BiGRU獲取問題中單詞的隱藏狀態。同時為了更好地捕獲單詞的長期依賴關系，使用了依賴路徑作為額外的表示，將單詞和依賴項標簽與方向連接起來，然后應用另一個BiGRU網絡來獲得依賴級別的問題表示。最后通過填充來對齊單詞級和依賴級序列，并通過元素加來合并它們。

候選答案表示：KBQA任務中的候選答案表示為A = {a₁, . . . , a_m}，其中每個答案a_i都是來自特定KB的事實，以三元組的形式存在。我們在字級和路徑級對這些事實進行編碼。

語義匹配與模型訓練：通過多層感知器計算問題qi和候選答案aj之間的語義相似性評分，在訓練過程中，采用hinge loss來最大化正答案集和負答案集之間的距離：

知識感知對話生成模型：

給定一個語句X = {x1, . . . , xn},對話生成的目標是生成一個適當的響應Y = {y1, . . . , ym},其中n和m分別表示語句和響應回答的長度。如模型圖所示，對話生成模型從KBQA任務中傳輸知識，從而促進知識級別的對話理解和KB事實選擇。

知識感知編碼器：對話生成使用基于Seq2Seq的方法來生成給定語句的響應。Seq2Seq的編碼器逐字讀取語句 X，通過GRU生成每個單詞的隱藏狀態。此外，為了促進對語句的理解，通過遷移KBQA任務中的問題表示能力，來獲得語句的多層語義理解（即單詞級別和依賴級別）。即使用KBQA任務學習到的預訓練雙向GRU作為附加編碼器。

響應指導注意機制：為了豐富語句表示以更好地理解，提出了一個響應引導注意機制，它使用檢索到的類似語句的響應來引導模型只關注相關信息。

知識感知多步解碼器：知識感知解碼器采用多步解碼策略，將從預先訓練的KBQA模型中學習到的知識選擇能力轉化為響應。第一步解碼器通過整合與語句相關的外部知識來生成草稿響應。第二步解碼器通過參考第一步解碼器產生的語句、上下文知識和草稿響應來生成最終響應。這樣，多步譯碼器就可以捕捉到請求和響應之間的知識連接，從而產生更連貫、信息量更大的響應回答。

模型訓練：模型以端到端的方式進行優化。 我們使用D表示訓練數據集，并使用Θe，Θ1和Θ2分別表示編碼器、第一步解碼器和第二步解碼器的參數。第一步解碼的訓練是為了最大程度地減少以下損失：

同樣，通過最小化以下損失來優化第二步解碼器：

最后，總損失為L（D1）和L（D2）之和。

實驗

如下表2所示，TransDG在所有數據集上都實現了最低的困惑度，表明生成的響應更具語法性。

下表3證明，利用外部知識的模型在生成有意義的實體詞和不同響應方面比標準Seq2Seq模型具有更好的性能，尤其是論文的模型以最高的實體得分明顯優于所有基線。這驗證了從KBQA任務遷移知識以進行事實知識選擇的有效性。

表4中顯示的BLEU值表明了字級重疊的比較結果。

表5列出了人類評估的結果，這表明TransDG傾向于在人類注釋方面產生更適當的信息，即由TransDG生成的響應比其他模型具有更高的知識相關性，表明TransDG可有效地整合適當的常識知識。

表6展示了TransDG和基線方法生成的一些響應。

總結

本文提出了一種新的知識感知對話生成模型TransDG，一個遷移KBQA任務的話語表示和知識選擇能力來整合常識知識的神經對話模型。此外還提出了一種響應引導注意機制，以增強編碼器對輸入后的理解，并通過多步解碼來優化知識選擇，以生成更適當和更有意義的響應。最后大量實驗證明了該模型的有效性。

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 - AAAI2020 | 通过知识库问答改善知识感知对话生成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。