鏈接： https://arxiv.org/pdf/1911.05889.pdf

動(dòng)機(jī)

雖然最近幾年通過利用社交網(wǎng)絡(luò)上大量人人交互數(shù)據(jù)訓(xùn)練開放域?qū)υ捘Ｐ腿〉昧撕艽蟮某晒?#xff0c;但是這些數(shù)據(jù)驅(qū)動(dòng)的對(duì)話系統(tǒng)仍然無法很自然的與人類對(duì)話，其中的一個(gè)主要問題就是對(duì)話系統(tǒng)缺乏一致的角色特征。圖1中的例子展示了角色一致性是如何影響對(duì)話的質(zhì)量。提高對(duì)話系統(tǒng)角色一致性的一個(gè)實(shí)用方法是明確定義一組描述對(duì)話系統(tǒng)角色信息（persona）的描述性文本，并以此為基礎(chǔ)學(xué)習(xí)生成體現(xiàn)出預(yù)先定義角色信息的回復(fù)。盡管編碼器-解碼器框架在基于角色信息的對(duì)話生成模型中得到了成功的應(yīng)用，但存在的問題是這些生成模型普遍缺乏對(duì)于一致性信息的建模。一方面，近幾年自然語言推理技術(shù)（Natural Language Inference）相關(guān)技術(shù)有了長足的進(jìn)步。有研究工作表明，回復(fù)和角色文本的一致性檢測(cè)問題可以被建模為<角色信息，回復(fù)>之間的自然語言推理技術(shù)問題。如何在基于角色信息的對(duì)話生成模型中利用這種檢測(cè)方法建模并提高角色的一致性是一個(gè)值得探索的問題。

亮點(diǎn)

論文亮點(diǎn)主要包括：

（1）提出了一個(gè)用于角色一致對(duì)話生成的RL框架，解決了在基于角色的對(duì)話模型中區(qū)分訓(xùn)練目標(biāo)的挑戰(zhàn)。

（2）這是第一項(xiàng)用NLI技術(shù)來增強(qiáng)角色一致性對(duì)話生成的工作。

（3）實(shí)驗(yàn)結(jié)果表明，提出的模型優(yōu)于強(qiáng)基準(zhǔn)，尤其是在角色一致性方面。

概念及模型

目標(biāo)是學(xué)習(xí)一個(gè)生成模型G以生成角色信息一致的對(duì)話。形式化定義如下：給定輸入X，角色信息的集合P={P1,P2...,Pn},目標(biāo)是生成一個(gè)回復(fù)Y,即Y=G(X,P)。此外，附加一個(gè)自然語言推理模型NLI，生成的回復(fù)需要滿足NLI(P,Y)∈{E,N},其中E表示一致，N表示中立。

圖1 一致性對(duì)于回復(fù)質(zhì)量的影響

圖2? 模型總體結(jié)構(gòu)圖

如圖2所示，該文所提出的一致性對(duì)話生成框架由兩部分組成：一個(gè)序列生成器G（Generator）和一個(gè)評(píng)估器（Evaluator）E。其中，評(píng)估器E由兩個(gè)子模塊組成，分別是一致性檢測(cè)模塊（一致，中立，矛盾）和自然度檢測(cè)模塊（自然，不自然）。在本文的任務(wù)中，一個(gè)理想的回復(fù)應(yīng)該是看起來很自然并且與給定的角色信息保持一致的，即：

自然度模塊 E_N是一個(gè)二分類器，用于判斷給定的回復(fù)來自模型生成還是訓(xùn)練數(shù)據(jù)。論文把輸入的回復(fù)通過雙向GRU編碼為向量表示，然后通過多層感知器網(wǎng)絡(luò)及SoftMax函數(shù)輸出二分類概率。E_N的訓(xùn)練目標(biāo)是最小化預(yù)測(cè)結(jié)果和真實(shí)標(biāo)簽之間的交叉熵?fù)p失。來自E_N的獎(jiǎng)勵(lì)定義R₁為E_N將給定回復(fù)預(yù)測(cè)為來自訓(xùn)練數(shù)據(jù)的概率。

一致性模塊 E_C是一個(gè)NLI的分類器。E_C被訓(xùn)練來預(yù)測(cè)<角色信息，回復(fù)>之間的一致性關(guān)系，共有一致，中立和矛盾三種情況。由于首次嘗試使用該方法來建模一致性，為了更好的探索自然語言推理技術(shù)模型對(duì)于提高回復(fù)一致性的幫助作用，論文使用了2個(gè)效果有明顯差別的自然語言推理技術(shù)模型，Base模型和BERT模型，以觀察對(duì)最終效果的影響。其中，Base模型為GRU+Interaction+MLP的典型NLI模型；BERT模型實(shí)在BERT_base的基礎(chǔ)上進(jìn)一步微調(diào)得到的。最終，來自一致性模塊E_C的獎(jiǎng)勵(lì)定義為：

E 是回復(fù)與角色信息一致的置信度，C 是回復(fù)與角色信息矛盾的置信度。通過該獎(jiǎng)勵(lì)函數(shù)，希望鼓勵(lì)模型盡可能生成一致的回復(fù)并減少不一致回復(fù)的生成。

生成器 G 是一個(gè)用GRU作為基本單元，使用Seq2Seq的結(jié)構(gòu)的生成模型。角色信息文本作為了輸入的一部分。此外，在生成過程中的每一步都使用了展開（rollout）的方式來獲取對(duì)于當(dāng)前位置更為精確的獎(jiǎng)勵(lì)估計(jì)。最后用于優(yōu)化 G 的獎(jiǎng)勵(lì)函數(shù)為：

R = 0.4R₁ + 0.6R₂

實(shí)驗(yàn)

論文在公開的PersonaChat數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)評(píng)價(jià)主要考慮兩個(gè)方面：

1.回復(fù)的一致性。考慮到有限樣本的情況下人工標(biāo)注難以得到足夠的一致類別的樣本，論文主要使用自然語言推理技術(shù)模型DIIN對(duì)生成的回復(fù)進(jìn)行分類。結(jié)果如表1所示。其中，論文的方法縮寫為RCDG，即Reinforcement Learning based Consistent Dialogue Generation。Entail.表示回復(fù)與角色信息一致的比例，值越高越好；Contr.表示回復(fù)與角色信息相矛盾的比例，值越低越好。同時(shí)，論文也給出了測(cè)試數(shù)據(jù)的相關(guān)比例。可以發(fā)現(xiàn)，PersonaChat中并非所有對(duì)話都與角色信息相關(guān)。此外，論文也的確在數(shù)據(jù)集中發(fā)現(xiàn)了極個(gè)別存在的矛盾回復(fù)。

2.?回復(fù)的質(zhì)量。對(duì)回復(fù)質(zhì)量的評(píng)價(jià)按照慣例進(jìn)行，包括了客觀指標(biāo)（表2）和主觀評(píng)價(jià)（表3）兩部分。客觀指標(biāo)包括衡量流暢性的困惑度（ppl），衡量語義相似度的embedding metrics（Ave., Grd., Ext.）以及衡量多樣性的Distinct-2（Dst.）。主觀評(píng)價(jià)使用了0-2的總體質(zhì)量打分方式。

表1 角色一致性評(píng)價(jià)結(jié)果

表2 對(duì)話質(zhì)量自動(dòng)指標(biāo)結(jié)果

總結(jié)

在該項(xiàng)工作中，論文探索了利用自然語言推理技術(shù)來建模開放域?qū)υ捝芍腥宋锝巧恢滦缘膯栴}。為此，論文將該任務(wù)轉(zhuǎn)化為一個(gè)強(qiáng)化學(xué)習(xí)問題，并在生成模型中利用自然語言推理技術(shù)信號(hào)提高回復(fù)的一致性。通過在PersonaChat數(shù)據(jù)集上的實(shí)驗(yàn)，論文證明了論文的方法相比于基線模型獲得了有效提升。

---

?

OpenKG

開放知識(shí)圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識(shí)圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - AAAI2020 | 利用自然语言推断生成人称一致的对话的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。