?PaperWeekly 原創 ·?作者｜金金

單位｜阿里巴巴研究實習生

研究方向｜推薦系統

論文標題：

Keyword-Guided Neural Conversational Model

論文來源：

AAAI 2021

論文鏈接：

https://arxiv.org/abs/2012.08383

簡介

本文由南洋理工大學和阿里巴巴的聯合實驗室發表于 AAAI 2021。本文研究了在開放域對話代理上施加對話目標/關鍵詞的問題，在這種情況下，需要代理將對話平穩快速地引導到目標關鍵詞。解決此問題可以使對話代理程序在許多實際場景中應用，例如推薦和心理治療。

解決此問題的主要范式是（1）訓練下一輪關鍵詞分類器，以及（2）訓練關鍵詞增強的響應檢索模型。

但是，該范式中的現有方法有兩個局限性：（1）下一輪關鍵詞分類的訓練和評估數據集是直接從沒有人注解的對話中提取的，因此它們嘈雜且與人的判斷的相關性較低，以及（2）關鍵詞過渡時，主體僅依靠詞嵌入之間的相似性來更接近目標關鍵詞，而這可能無法反映人類的交談方式。

在本文中，作者假設人類對話是基于常識的，并提出了一種關鍵詞引導的神經對話模型，該模型可以利用外部常識知識圖（CKG）來進行關鍵字轉換和響應檢索。自動評估表明，常識可以提高下一輪關鍵字預測和關鍵詞增強響應檢索的性能。此外，自我評估和人類評估都表明，本文的模型產生的響應具有更平滑的關鍵字過渡，并且比競爭基準更快地達到了目標關鍵詞。

模型

針對下一輪關鍵詞分類任務，本文模型主要包含如下模塊：

• Utterance Representation：該部分使用分級的 GRU 網絡獲得每一個 Utterance 的表示；

• CKG Graph Representation：該部分使用 Gated 圖神經網絡獲取結點的表示；

• Keyword and Concept Representation：作者獲取了出現在 utterance 中的關鍵詞和 concepts，并使用兩級的池化策略從知識圖譜中獲得表示；

• Classification：最后使用一個線性層和一個 softmax 層得到最終輸出分布，并使用最小化 negative log- likelihoods 來優化模型。

針對響應檢索任務，作者首先制定了基于常識的關鍵詞選擇策略，具體來說，是基于 Floyd-Warshall 算法，選擇概率最高且相比于已經出現的關鍵詞中，與目標關鍵詞最近的三個關鍵詞。在此基礎上設計如下模塊：

• Utterance Representations：同樣適用上述的 GRU 和圖神經網絡獲取每一輪的表示；

• Keyword Representations：直接使用知識圖譜中的詞表示；

• Matching：分別對上述兩者計算點積并計算加權和。

實驗

本文在 turn 級別的關鍵詞排序和回復排序效果上進行了評價，可以看到顯著優于其他的模型。

在此基礎上，作者從整個對話級別進行評估，發現該模型可以更快更平滑的使目標關鍵詞出現在對話中。

結論

本文研究了在開放域對話代理上施加對話目標/關鍵詞的問題。現有方法中的關鍵字轉換模塊遭受嘈雜的數據集和不可靠的轉換策略的困擾。在本文中，作者提出了基于常識的關鍵詞轉換，并分別針對下一輪關鍵詞轉換和關鍵詞增強響應檢索的任務提出了兩種基于 GNN 的模型。

大量的實驗表明，本文提出的模型在這兩個任務上的性能要比競爭基準好得多。此外，模型分析表明，CKG 三元組和本文提出的 CKG 指導的關鍵詞選擇策略分別有助于學習話語表示和關鍵詞過渡。最后，自玩模擬和人工評估都表明，本文的模型比基準可以取得更好的成功率，更快地到達目標關鍵詞，并產生更流暢的對話。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的AAAI 2021 | 关键词指导的神经对话模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。