論文筆記整理：張傲，天津大學(xué)碩士。

---

Knowledge Graph Grounded Goal Planning for Open-Domain Conversation Generation

來源：哈工大SCIR

動機

讓機器生成有內(nèi)容并且主題連貫的多輪開放域?qū)υ?#xff0c;是人工智能公認的關(guān)鍵任務(wù)之一。針對這一任務(wù)，研究人員嘗試了一些基于端到端的生成模型，但模型生成的回復(fù)內(nèi)容豐富性較低。有效聊天話題管理技術(shù)的實現(xiàn)目前主要面臨兩個挑戰(zhàn)，1.? 高層級對話目標（Gonversational Goal，聊天話題）序列的規(guī)劃，其困難在于對話系統(tǒng)既要保持對話主題的連貫性，也要兼顧用戶的興趣，以免機器單方面的自說自話；2. 如何基于一個對話目標生成內(nèi)容豐富的深入對話，此技術(shù)可以支持許多實際的對話應(yīng)用場景，例如多個知識點的持續(xù)推薦、某個物品的推薦等。

為了解決以上兩個問題，本文中提出了一個基于知識圖譜的層次化強化學(xué)習(xí)框架（KnowHRL），進行多粒度回復(fù)指導(dǎo)信息的選擇。

亮點

KnowHRL的亮點主要包括：

（1）該工作首次將多輪開放域?qū)υ挷鸾鉃閮蓚€子任務(wù)，即對話目標序列的規(guī)劃及給定對話目標的深入對話；

（2）借助于知識圖譜，該工作為對話策略（Dialog Policy）學(xué)習(xí)引入了顯示的、可解釋的對話狀態(tài)與動作，不僅便于設(shè)計對話目標相關(guān)的Reward因子，還可使用對話目標以及細粒度話題指導(dǎo)回復(fù)生成；

（3）實驗結(jié)果驗證了KnowHRL模型在多個指標下的有效性，包括話題連貫性、用戶興趣一致性、知識準確率等；

概念及模型

KnowHRL是一個基于知識的三層強化學(xué)習(xí)模型。具體來說，對于第一個子任務(wù)，上層策略學(xué)習(xí)遍歷知識圖（KG），以規(guī)劃顯式目標序列，從而在對話一致性、主題一致性與用戶興趣之間取得良好平衡。對于第二個子任務(wù)，中間層策略和下層策略協(xié)同工作，借助目標完成機制，圍繞給定話題的同用戶進行深入聊天。

KnowHRL具體由三層決策模塊構(gòu)成：

• 上層決策模塊是第一個多層感知網(wǎng)絡(luò)，負責通過在知識圖譜中選取實體類節(jié)點，以規(guī)劃一個主題連貫、多樣、可持續(xù)的聊天話題序列（即圖譜中的實體節(jié)點）。考慮到用戶興趣的建模，研究人員在 RL Reward中添加了回復(fù)句與用戶話題一致性的度量因素。Combiner：多個成分利用 component-level attention 進行加權(quán)融合。
  

• 中層決策模塊是第二個多層感知網(wǎng)絡(luò)，負責從實體節(jié)點的鄰居中選取一個節(jié)點（通常為實體屬性），作為細粒度子話題。由于將對話目標是否完成形式化為SMDP中的Option，本文設(shè)計了另外一個模型，可以在中層Policy的每一步?jīng)Q策之后，都去判斷當前對話目標是否完成。
  

• 下層決策模塊是第三個多層感知網(wǎng)絡(luò)，負責選取一個回復(fù)向量

RL Reward設(shè)計：

• 針對上層決策模塊，本文中提出了五個因子，包括對話目標序列的主題連貫性、對話目標與用戶話題的一致性、圍繞當前對話目標的對話輪數(shù)、當前對話目標的可持續(xù)性（實體節(jié)點的Pagerank）以及來自中層決策模塊的Reward打分。

• 針對中層決策模塊，本文中設(shè)計了兩個因子，一個是話題內(nèi)的連貫性，另一個是來自下層決策模塊的Reward打分。

• 針對下層決策模塊，本文中提出了三個因子，包括回復(fù)句的相關(guān)性、回復(fù)句的信息豐富度以及回復(fù)句中是否提及了中層決策模塊選擇的細粒度話題（即實體屬性名）。
  

KnowHRL模型框架圖

實驗

實驗設(shè)置

數(shù)據(jù)集：DuConv數(shù)據(jù)集包含30k對話Session，其中對話輪數(shù)為120k。本文將數(shù)據(jù)切分為訓(xùn)練集（100k輪對話）、開發(fā)集（10k 輪對話）以及測試集（10k輪對話）。該數(shù)據(jù)還提供了電影、明星領(lǐng)域的知識圖譜，由人工進行標注，每個對話Session最終需要引導(dǎo)到一個預(yù)先給定的實體，并且對話需要圍繞知識圖譜中的相應(yīng)知識進行。

Baseline模型：1. CCM：基于圖注意力機制的知識對話模型；2. CCM+LaRL：本文對一個基于隱變量以及RL的對話模型（LaRL）進行了改進，使用了CCM中的兩個圖注意力機制使得LaRL可以充分利用知識圖譜。

評估指標：主題間連貫性（Inter-topic Coherence）、主題內(nèi)連貫性（Intra-topic Coherence）、用戶興趣一致性（User Interest Consistency）、知識準確率等四個人工指標，同時使用Distinct指標評估回復(fù)多樣性。

實驗結(jié)果

實驗樣例

總結(jié)

本文中提出了一個基于知識圖譜的層次化強化學(xué)習(xí)框架，該框架展示了如何基于知識圖譜進行層次化的話題內(nèi)容規(guī)劃，從而進一步輔助聊天話題管理以及回復(fù)生成。在公開數(shù)據(jù)集上的實驗表明，文中提出的方案在主題連貫性、用戶興趣一致性、知識準確率等指標上大幅超越基線。未來可能的改進工作是提升知識圖譜的內(nèi)容覆蓋，例如可以在圖譜中引入開放域?qū)υ挼膬?nèi)容。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - AAAI2020 | 基于知识图谱进行对话目标规划的开放域对话生成技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。