?PaperWeekly 原創(chuàng) ·?作者｜王馨月

學(xué)校｜四川大學(xué)本科生

研究方向｜自然語言處理

本文盤點近期 ICLR 2020、AAAI 2020 上幾篇對話系統(tǒng)相關(guān)的論文。

ICLR 2020

論文標(biāo)題：Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue

論文來源：ICLR 2020

論文鏈接：https://arxiv.org/abs/2002.07510

代碼鏈接：https://github.com/bckim92/sequential-knowledge-transformer

基于知識是一項結(jié)合上下文和外部知識生成有效回復(fù)的任務(wù)，一般通過更好地建模多輪基于知識的對話中的知識來提升。主要分為兩步：1）知識選擇；2）根據(jù)選擇出的知識以及上下文生成回應(yīng)。不同于 TextQA 任務(wù)，基于知識的對話系統(tǒng)中上下文與要選擇的知識之間是一對多的關(guān)系。

因此，文章將序列潛在變量模型引入知識選擇過程，提出了 sequential knowledge transformer (SKT)。將知識選擇看作序列決策過程，根據(jù)多輪的潛在變量，聯(lián)合推斷出要選擇的知識，因此不僅能減少知識提取的多樣化造成的歧義，還能夠促使回復(fù)過程選擇合適的知識。在 Wizard of Wikipedia 上達(dá)成 SOTA 性能。

模型由三部分構(gòu)成：句子編碼器用 BERT 和 average pooling 實現(xiàn)；序列知識選擇用 SKT 實現(xiàn)；解碼器用 Transformer 的 Decoder 結(jié)合 Copy 機制實現(xiàn)。

文章的核心在于 SKT 模型，如圖所示是模型在 t=3（迭代到第三輪對話）的狀態(tài)。

模型首先通過后驗知識推斷出前 t-1 輪選取的知識，再通過先驗知識分布推斷出 t 輪選取的知識并根據(jù)推斷出的知識生成回應(yīng)。其中 代表 encoder， 為先驗知識分布， 為后驗知識分布。

作者在 Wizard of Wikipedia 和 Holl-E 上進(jìn)行了實驗，結(jié)果如下：

作者在結(jié)論中指出，在基于知識的多輪對話知識提取中還有一些可能的研究方向，比如利用 filtering variational objectives 的序列蒙特卡洛推斷模型，以及探究知識選擇的可解釋性等。

ICLR 2020

論文標(biāo)題：Low-Resource Knowledge-Grounded Dialogue Generation

論文來源：ICLR 2020

論文鏈接：https://arxiv.org/abs/2002.10348

在開放域?qū)υ捪到y(tǒng)中，目前大多數(shù)模型只能擬合小規(guī)模訓(xùn)練數(shù)據(jù)，而基于知識對話的知識也很難獲取。因此，文章在缺少資源的假定下，設(shè)計了 disentangled response decoder，將依賴于基于知識的對話的參數(shù)從整個模型中分離分離。

通過這種方法，模型的主要部分可以從大規(guī)模的非真實對話以及非結(jié)構(gòu)化文本中訓(xùn)練，而其余的很少一部分參數(shù)則可以用有限的訓(xùn)練數(shù)據(jù)擬合。在兩個基準(zhǔn)上實驗的結(jié)果顯示只用 1/8 的訓(xùn)練數(shù)據(jù)，模型就能達(dá)到 SOTA 性能并生成很好的跨領(lǐng)域知識。

文章將生成回應(yīng)的問題分解為 3 個不相關(guān)的行為：1) 根據(jù)已生成的部分選擇合適的詞使得句子語法正確（符合語言模型）；2) 根據(jù)上下文選擇合適的詞使得對話連貫（符合上下文處理器）；3) 根據(jù)對話基礎(chǔ)上的外部知識選擇合適的詞（符合知識處理器）。

這三個步驟可以獨立地學(xué)習(xí)，據(jù)此，文章提出了如圖所示的生成模型：

相較傳統(tǒng)模型，主要的區(qū)別在作者通過將 decoding 過程分解為一個語言模型、一個上下文處理器、一個知識處理器，以模擬上述三個步驟。

作者在 encoding 過程使用 RNN+GRU 得到句子的隱藏向量序列 ，作為 decoding 過程上下文處理器的輸入；通過雙向 GRU 得到文本的表示 ，作為decoding過程知識處理器的輸入。

值得注意的是，模型并不像一般的 Transformer 模型在 encoding 過程通過 attention 機制來選擇知識，而是將這一步留在 decoding 過程，這能去除上下文編碼和知識編碼間的依賴。

Decoder 中將隱藏序列 根據(jù) t-1 步驟的預(yù)測 word embedding 定義為 。將三個部分定義如下：

• 語言模型：語言模型基于 通過一個 MLP 進(jìn)行詞的預(yù)測。

• 上下文處理器：通過一個 MLP 結(jié)合注意力分布權(quán)衡預(yù)測單詞來自詞匯表或上下文。

• 知識處理器：知識處理器通過多層注意力機制（此處使用了 sentence-level 和 word-level）通過和上下文處理器類似的方式預(yù)測單詞。

最終通過 gumbel softmax 計算三個部分的參數(shù)。

作者在 Test Seen of Wizard 和 CMU_DoG 上進(jìn)行的實驗結(jié)果如下：

此外，作者還探討了對使用固定參數(shù)還是 fine-tune 效果更好進(jìn)行了實驗。結(jié)果顯示，當(dāng)數(shù)據(jù)量較小（<5K）時，用固定參數(shù)效果更好，而數(shù)據(jù)量較大時，fine-tuning 則可以進(jìn)一步提升模型表現(xiàn)。

AAAI 2020

論文標(biāo)題：A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

論文來源：AAAI 2020

論文鏈接：https://arxiv.org/abs/1911.04700

在這篇文章中，作者指出，讓模型生成更加 human-like 的回復(fù)是對話系統(tǒng)中非常重要的問題，但由于自然語言中難以適當(dāng)?shù)靥砑咏巧畔?#xff0c;且真實生活中大多數(shù)對話中是缺少角色信息的（persona-sparse），使得這一問題更加艱難。

而角色信息相關(guān)的數(shù)據(jù)集如 PERSONA-CHAT，則由于構(gòu)造時對話者被要求在很少輪中顯示性格而包含了過多個人信息（persona-dense），這一點不符合真實情況。

針對這一問題作者提出了可以在 persona-sparse 數(shù)據(jù)集上訓(xùn)練的預(yù)訓(xùn)練模型，并提出了一種注意力路由機制（attention routing mechanism）以在 decoder 中動態(tài)預(yù)測權(quán)重。實驗結(jié)果顯示此模型可以很好地生成連貫且 persona-related 的回應(yīng)。

模型框架如圖：

其中，人物信息 是一個包含性別、位置、興趣標(biāo)簽信息的鍵值對集合 ； 為對話-人物信息集合 。Encoder 和 decoder 按照 Transformer 架構(gòu)實現(xiàn)。 和 經(jīng)過 encoder 變?yōu)? 和 ，作為 Decoder 的輸入，通過注意力路由機制得到的權(quán)重 merge。

如上圖，在 encoding 過程中作者將不同信息的 embedding 加在一起作為每個單詞最終的 embedding，通過encoder得到 ，同種方法將 的每個鍵值對組成一個句子序列 embedding 得到 。

而在 Decoder 中的 Attention Routing 的實現(xiàn)機制是：將 multi-head attention 的每一組操作視作一個 attention route，因此，對目標(biāo)任務(wù)信息 、對話上下文 和上一輪編碼的 token 分別有：

作者又根據(jù) 設(shè)置了一個 0 到 1 之間的參數(shù) ，用以調(diào)整 feature 的權(quán)重。參數(shù) 通過訓(xùn)練時使用一個二分分類器，判斷回復(fù)是否 persona 來實現(xiàn)。可以看出 越大， 的占比越大。最終得到混合輸出：

訓(xùn)練數(shù)據(jù)集 PersonalDialog 來自微博。實驗結(jié)果隨 的變化如圖所示：

作者在文中還給出了模型的 case study，可以參考。

AAAI 2020

論文標(biāo)題：End-to-End Trainable Non-Collaborative Dialog System

論文來源：AAAI 2020

論文鏈接：https://arxiv.org/abs/1911.10742

本文主要針對非協(xié)作設(shè)定（如協(xié)商或勸導(dǎo)）下的對話中用戶和系統(tǒng)不具備相同目標(biāo)的問題，引入了 hierarchical intent annotation scheme，基于 TransferTransfo 構(gòu)建了一個端到端的神經(jīng)網(wǎng)絡(luò)模型 MISSA (Multiple Intents and Semantic Slots Annotation Neural Network)。

作者還基于模型開發(fā)了一個防詐騙對話系統(tǒng)以及一個說服對話系統(tǒng)以說服人們做公益等。并創(chuàng)建了數(shù)據(jù)集 ANTISCAM。

GitLab：https://gitlab.com/ucdavisnlp/antiscam

MISSA 在 ANTISCAM 數(shù)據(jù)集的訓(xùn)練過程如上圖所示。作者在 TransferTransfo 的基礎(chǔ)上主要做的改變?yōu)?#xff1a;

1) 由于 TransferTransfo 原本用于沒有意圖的開放域?qū)υ?#xff0c;作者加入了兩個 intent classifier 和兩個 semantic slot classifier；2) 為增加回復(fù)的多樣性，根據(jù) nucleus 采樣策略設(shè)計了一個 filter 根據(jù)預(yù)設(shè)的規(guī)則對生成的回復(fù)進(jìn)行采樣。

TramsferTransfo: Transformer 模型在對話生成方面的應(yīng)用，將 Transformer 的 segement embedding 變?yōu)?dialogue state embedding 以標(biāo)注意圖和對話狀態(tài)。

第 t 輪的 Intent classifier 和 semantic slot classifier 根據(jù)第 t-1 輪的最后一句的最后一個隱藏狀態(tài)和第 t 輪第 i 個句子的最后一個隱藏狀態(tài)加權(quán)求 Softmax 得到。

在訓(xùn)練過程中，作者在每句話結(jié)尾設(shè)置了一個 token < sep >?。并在系統(tǒng)回應(yīng)的橘子開頭設(shè)置?token?< pos_ans >。

作者在 ANTISCAM 和 PERSUASIONFORGOOD 數(shù)據(jù)集上進(jìn)行了實驗，結(jié)果如下（其中 MISSA-sel 是 MISSA 去除回應(yīng) filter，MISSA-con 是 MISSA 去除回應(yīng)開頭的 intent token）：

ICLR 2020

論文標(biāo)題：Augmenting Non-Collaborative Dialog Systems with Explicit Semantic and Strategic Dialog History

論文來源：ICLR 2020

論文鏈接：https://arxiv.org/abs/1909.13425

這篇文章同樣是針對 Non-collabratibe 的情況，提出了利用有窮狀態(tài)轉(zhuǎn)換器（finite state transducers, FSTs）構(gòu)造的模型 FeHED (FST-enhanced hierarchical encoder-decoder model)，用于建模對話中的語義和策略 history。

如下圖所示，FeHED 模型主要由四個部分組成：一個對話動作分類器、一個策略分類器、兩個 FST（FST-DA/S），以及一個層次 encoder-decoder 模型（HED）。

對話動作分類器和策略分類器的輸出作為 FSTs 的輸入，FSTs 的輸出結(jié)合 utterance embedding 作為 HED 的輸入，最終 HED 生成下一輪的策略和 utterance。

作者在 CraigslistBargain 和 Persuasion For Good 數(shù)據(jù)集上進(jìn)行了實驗，結(jié)果如下。

這篇文章將有窮狀態(tài)轉(zhuǎn)換器用在規(guī)則和對話狀態(tài)的轉(zhuǎn)換，相較于 hidden states只能描述語義 history 而言，將 FSTs 用在多輪對話也是一種有意義的新思路。

數(shù)據(jù)集

AAAI 2020 上 Google 團(tuán)隊發(fā)表了一篇論文 Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset，介紹了數(shù)據(jù)集 SGD (Schema-Guided Dialogue)。

研究團(tuán)隊稱 SGD 數(shù)據(jù)集是目前公開可用的最大的任務(wù)型對話數(shù)據(jù)集，包含 16k 多領(lǐng)域?qū)υ挃?shù)據(jù)，數(shù)據(jù)集也為每個領(lǐng)域提供了多個 API。

論文標(biāo)題：Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset

論文來源：AAAI 2020

論文鏈接：https://arxiv.org/abs/1909.05855

GitHub：https://github.com/google-research-datasets/dstc8-schema-guided-dialogue

還有一篇 ACL 2020 上的論文 KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation 中介紹的 KdConv 數(shù)據(jù)集，包含影視、音樂、旅游方面的共計 4.5K 的多輪對話數(shù)據(jù)集。

論文標(biāo)題：KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation

論文來源：ACL 2020

論文鏈接：https://arxiv.org/abs/2004.04100

GitHub：https://github.com/thu-coai/KdConv

總結(jié)

對話系統(tǒng)的論文數(shù)量雖然在各個會議中占比不算很高，但可以看出，還是有一些很有趣的想法。比如在第一篇文章中對 latent variable model 進(jìn)行改進(jìn)在解決回復(fù)多樣性的同時使得知識選擇更加準(zhǔn)確。

而在第二篇文章中針對低資源的問題將語言模型、上下文與知識分離開，使得僅用 1/8 真實數(shù)據(jù)情況就能達(dá)到很好的性能。

而第三第四篇文章都對于對話系統(tǒng)的個性化作出了不同的嘗試，其中第三篇文章很有新意地將人物信息加入 encoding，第四、第五篇文章則考慮到日常生活中更多對話是非協(xié)作的情形作出了嘗試。

還可以看到 Visual Dialogue 也取得了一定進(jìn)展，有興趣的讀者可以參考 AAAI 2020 的 DualVD: An Adaptive Dual Encoding Model for Deep Visual Understanding in Visual Dialogue。

點擊以下標(biāo)題查看更多往期內(nèi)容：?

• 任務(wù)導(dǎo)向型對話系統(tǒng)——對話管理模型研究最新進(jìn)展
  

• 超詳綜述 | 基于深度學(xué)習(xí)的命名實體識別
  

• 復(fù)旦大學(xué)邱錫鵬教授：NLP預(yù)訓(xùn)練模型綜述
  

• BERT在小米NLP業(yè)務(wù)中的實戰(zhàn)探索
  

• 針對復(fù)雜問題的知識圖譜問答最新進(jìn)展
  

• 從三大頂會論文看百變Self-Attention

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的从ICLR 2020、AAAI 2020看对话系统近期研究进展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。