?原創(chuàng) ·?作者?|?王馨月

學(xué)校?|?四川大學(xué)

研究方向?|?自然語言處理

Neural Path Hunter

論文標(biāo)題：

Neural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding

論文鏈接：

https://arxiv.org/abs/2104.08455

項(xiàng)目地址：

https://github.com/nouhadziri/Neural-Path-Hunter

基于大型預(yù)訓(xùn)練語言模型的對(duì)話系統(tǒng)天然能夠提供流暢自然的響應(yīng)，但這些模型通常會(huì)生成事實(shí)上不正確的陳述，從而阻礙了它們的廣泛采用。這篇論文中，作者專注于提高響應(yīng)真實(shí)性（faithfulness）的任務(wù)，從而減少神經(jīng)對(duì)話系統(tǒng)對(duì)知識(shí)圖譜 （KG）提供的已知事實(shí)的幻覺。作者提出了 Neural Path Hunter ，它遵循先生成再優(yōu)化的策略，即使用 KG 的 k 跳子圖修改生成的響應(yīng)。

Neural Path Hunter 利用一個(gè)單獨(dú)的 token 級(jí)事實(shí)評(píng)論家來識(shí)別可能的幻覺來源，然后是一個(gè)由兩個(gè)神經(jīng) LM 組成的鏈的細(xì)化階段，該階段通過制作在 k 跳子圖上傳播的查詢信號(hào)來檢索正確的實(shí)體。論文提出的模型可以輕松應(yīng)用于任何對(duì)話生成的響應(yīng)，而無需重新訓(xùn)練模型。作者在 OpenDialKG 數(shù)據(jù)集上進(jìn)行了驗(yàn)證，相比于基于 FeQA 的對(duì)話響應(yīng)將真實(shí)性相對(duì)提高了 20.35% 。

上圖是 Neural Path Hunter 的概覽。NPH 遵循先生成再優(yōu)化的方法，通過增加傳統(tǒng)對(duì)話生成和額外的優(yōu)化階段，使對(duì)話系統(tǒng)能夠通過查詢 KG 來糾正潛在的幻覺。NPH 通過限制由 KG 上的有效路徑支持的保護(hù)流來建立對(duì)話生成。為此，該模塊結(jié)合了一個(gè) token 級(jí)別的幻覺評(píng)論家，該評(píng)論家屏蔽了話語中關(guān)注的實(shí)體。

然后是一個(gè)預(yù)先訓(xùn)練的非自回歸 LM，它為每個(gè)被屏蔽的實(shí)體規(guī)定了上下文表示，然后將其順序饋送到自回歸 LM 以獲得輸出表示。然后，這些輸出表示可用于有效地啟動(dòng)對(duì) KG 的查詢——有效地將對(duì)話建模為在局部 k 跳子圖上傳播的信號(hào)，從而通過對(duì)話歷史強(qiáng)制執(zhí)行局部性——返回事實(shí)正確的實(shí)體。

上表是在應(yīng)用 Neural Path Hunter 之前和之后，基于 GPT2-KG 測(cè)試響應(yīng)的選定響應(yīng)。紅色表示幻覺實(shí)體提及，綠色表示檢索到的正確實(shí)體提及。

DIALKI

論文標(biāo)題：

DIALKI: Knowledge Identification in Conversational Systems through Dialogue-Document Contextualization

論文鏈接：

https://arxiv.org/abs/2109.04673

項(xiàng)目地址：

https://github.com/ellenmellon/DIALKI

確定在基于長文檔的對(duì)話系統(tǒng)中使用的相關(guān)知識(shí)對(duì)于有效生成響應(yīng)至關(guān)重要。這篇論文引入了一種知識(shí)識(shí)別模型 DIALKI，該模型利用文檔結(jié)構(gòu)來提供對(duì)話上下文化的段落編碼，以更好地定位與對(duì)話相關(guān)的知識(shí)。?與之前的工作相比，DIALKI 在開放式問答中擴(kuò)展了多段閱讀器模型，以獲得基礎(chǔ)文檔中多段不同跨度的密集編碼，并將它們與對(duì)話歷史聯(lián)系起來。

具體來說，DIALKI 通過將給定的長文檔分成段落或部分來提取知識(shí)，并使用對(duì)話上下文將它們單獨(dú)上下文化。然后通過首先選擇與對(duì)話上下文最相關(guān)的段落，然后選擇所選段落中的最終知識(shí)串來提取知識(shí)。處理每個(gè)段落而不是整個(gè)文檔大大縮短了知識(shí)上下文，同時(shí)保留了足夠的用于推理的話語上下文。

DIALKI 還使用多任務(wù)目標(biāo)來識(shí)別下一回合的知識(shí)，以及先前回合使用的知識(shí)，通過捕獲下一個(gè)代理話語、先前話語和基礎(chǔ)之間的相互依賴關(guān)系，幫助改進(jìn)對(duì)話和文檔表示的學(xué)習(xí)文檔。作者證明了模型在兩個(gè)基于文檔的對(duì)話數(shù)據(jù)集上的有效性，并提供了分析，顯示了對(duì)看不見的文檔和長對(duì)話上下文的泛化。

上圖是 DAILKI 模型的概覽。模型應(yīng)用 BERT 和知識(shí)上下文化機(jī)制來獲得對(duì)話上下文和知識(shí)表示（左），用于執(zhí)行下一個(gè)（主要）和歷史（輔助）回合知識(shí)識(shí)別任務(wù)（右）。對(duì)于每一輪，DIALKI 通過選擇相關(guān)段落以及段落中的開始/結(jié)束跨度來識(shí)別知識(shí)。

作者在 Doc2Dial 和 WoW 對(duì)話數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在知識(shí)識(shí)別任務(wù)上相較于之前的工作提升了60%和20% 。

TransferQA

論文標(biāo)題：

Zero-Shot Dialogue State Tracking via Cross-Task Transfer

論文鏈接：

https://arxiv.org/abs/2109.04655

對(duì)話狀態(tài)跟蹤（DST）的 zero-shot 遷移學(xué)習(xí)使我們能夠處理各種面向任務(wù)的對(duì)話域，而無需收集域內(nèi)數(shù)據(jù)。這篇論文中，作者提出了 TransferQA，這是一種可遷移的生成 QA 模型，它通過文本到文本轉(zhuǎn)換器框架無縫地結(jié)合了提取 QA 和多選 QA，并在 DST 中跟蹤分類槽和非分類槽。此外，還引入了兩種構(gòu)建無法回答的問題的有效方法，即否定問題采樣和上下文截?cái)?#xff0c;這使得模型能夠處理零樣本 DST 設(shè)置中的“none”值槽。

實(shí)驗(yàn)表明，本文提出的方法大大改善了 MultiWoz 上現(xiàn)有的零樣本和少樣本結(jié)果。此外，與 Schema-Guided Dialogue 數(shù)據(jù)集上的 baseline 相比，本文的方法在看不見的領(lǐng)域顯示出更好的泛化能力。

上圖是零樣本 DST 的跨任務(wù)傳輸?shù)母呒?jí)表示。在 QA 訓(xùn)練階段（上圖），統(tǒng)一生成模型（T5）在 QA 對(duì)提取問題（藍(lán)色）、多項(xiàng)選擇題（紫色）和否定提取問題（綠色）上進(jìn)行預(yù)訓(xùn)練。在零樣本 DST 的推理時(shí)間（下圖），模型將槽值預(yù)測(cè)為綜合制定的提取問題（對(duì)于非分類槽）和多項(xiàng)選擇題（對(duì)于分類槽）的答案。

上圖是用于在訓(xùn)練中添加無法回答的問題的負(fù)抽樣策略。給定一個(gè)段落，從其他段落中隨機(jī)抽取一個(gè)問題，并訓(xùn)練 QA 模型（T5）來預(yù)測(cè)“none”。

上圖是用于生成 none 值的上下文截?cái)嗖呗浴＝財(cái)辔恼乱源_保上下文中不存在答案跨度，因此 QA 模型（T5）學(xué)會(huì)預(yù)測(cè)“none”。

KAT-TSLF

論文標(biāo)題：

A Three-Stage Learning Framework for Low-Resource Knowledge-Grounded Dialogue Generation

論文鏈接：

https://arxiv.org/abs/2109.04096

項(xiàng)目地址：

https://github.com/neukg/KAT-TSLF

通過引入外部背景知識(shí)，神經(jīng)對(duì)話模型可以在生成流暢和信息豐富的響應(yīng)方面顯示出巨大的潛力。然而，構(gòu)建這種以知識(shí)為基礎(chǔ)的對(duì)話很費(fèi)力，而且現(xiàn)有模型在遷移到訓(xùn)練樣本有限的新領(lǐng)域時(shí)通常表現(xiàn)不佳。因此，在資源匱乏的環(huán)境下構(gòu)建知識(shí)型對(duì)話系統(tǒng)仍然是一個(gè)至關(guān)重要的問題。

這篇論文中，作者提出了一種基于弱監(jiān)督學(xué)習(xí)的新型三階段學(xué)習(xí)框架 TSLF，該框架受益于大規(guī)模無根據(jù)的對(duì)話和非結(jié)構(gòu)化知識(shí)庫。為了更好地與這個(gè)框架合作，作者還設(shè)計(jì)了一種帶有解耦解碼器的 Transformer 變體，它促進(jìn)了響應(yīng)生成和知識(shí)整合的分離學(xué)習(xí)。兩個(gè) baseline 的評(píng)估結(jié)果表明，論文中的方法可以在訓(xùn)練數(shù)據(jù)較少的情況下優(yōu)于其他最先進(jìn)的方法，即使在零資源場(chǎng)景中，仍然表現(xiàn)良好。

上圖是論文中的 TSLF 流程的概覽，共分三個(gè)階段。

圖中的 KAT，是 Knowledge-Aware Transformer。其架構(gòu)如下圖所示：

CG-nAR

論文標(biāo)題：

Thinking Clearly, Talking Fast: Concept-Guided Non-Autoregressive Generation for Open-Domain Dialogue Systems

論文鏈接：

https://arxiv.org/abs/2109.04084

項(xiàng)目地址：

https://github.com/RowitZou/CG-nAR

人類對(duì)話包含不斷發(fā)展的概念，說話者自然而然地將多個(gè)概念聯(lián)系起來以組成一個(gè)回應(yīng)。然而，目前采用 seq2seq 框架的對(duì)話模型缺乏有效管理概念轉(zhuǎn)換的能力，并且很難以順序解碼的方式將多個(gè)概念引入到響應(yīng)中。為了提升對(duì)話的連貫性，復(fù)旦大學(xué)張奇老師團(tuán)隊(duì)設(shè)計(jì)了一個(gè)概念引導(dǎo)的非自回歸模型（CG-nAR）來生成開放域?qū)υ挕?/p>

模型包括一個(gè)多概念規(guī)劃模塊，該模塊學(xué)習(xí)從概念圖中識(shí)別多個(gè)相關(guān)概念，以及一個(gè)定制的插入變換器，執(zhí)行概念引導(dǎo)的非自回歸生成以完成響應(yīng)。在兩個(gè)公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，CG-nAR 可以產(chǎn)生多樣且連貫的響應(yīng)，在自動(dòng)和人工評(píng)估中均優(yōu)于最先進(jìn)的 baseline ，推理速度大大加快。

上圖是 CG-nAR 框架的概覽。(a) 多概念規(guī)劃模塊以之前的概念流和對(duì)話上下文為條件，從概念圖中仔細(xì)選擇多個(gè)相關(guān)概念。(b) 所選概念用于初始化后續(xù)非自回歸生成的部分響應(yīng)。

上圖是來自不同系統(tǒng)的輸出響應(yīng)的對(duì)話案例。藍(lán)色是對(duì)話流中觀察到的概念，紅色表示輸出響應(yīng)中與上下文相關(guān)的概念。可以看出 CG-nAR 具有不錯(cuò)的效果。

DAMS

論文標(biāo)題：

Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining

論文鏈接：

https://arxiv.org/abs/2109.04080

項(xiàng)目地址：

https://github.com/RowitZou/DAMS

隨著日常生活中對(duì)話數(shù)據(jù)量的快速增長，對(duì)于對(duì)話摘要的需求越來越大。然而，由于帶有注釋摘要的對(duì)話數(shù)據(jù)不足，訓(xùn)練大型摘要模型通常是不可行的。復(fù)旦大學(xué)張奇老師團(tuán)隊(duì)提出了一種多源預(yù)訓(xùn)練范式（DAMS），以更好地利用外部摘要數(shù)據(jù)。

作者利用大規(guī)模域內(nèi)非摘要數(shù)據(jù)來分別預(yù)訓(xùn)練對(duì)話 encoder 和摘要 decoder。然后使用對(duì)抗性評(píng)論對(duì)域外摘要數(shù)據(jù)對(duì)組合的 encoder-decoder 模型進(jìn)行預(yù)訓(xùn)練，來促進(jìn)與域無關(guān)的摘要。在兩個(gè)公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，在只有有限的訓(xùn)練數(shù)據(jù)的情況下，模型實(shí)現(xiàn)了有競(jìng)爭(zhēng)力的性能，并且在不同的對(duì)話場(chǎng)景中具有很好的泛化能力。

上圖是 DAMS 的概覽。DAMS 包括：(i) 使用對(duì)話的 encoder 預(yù)訓(xùn)練（綠色）；(ii) 使用短文本的 decoder 預(yù)訓(xùn)練（黃色）；(iii) 使用帶有相應(yīng)摘要（橙色）的通用文章進(jìn)行聯(lián)合預(yù)訓(xùn)練。

上圖是用 SAMSum 測(cè)試集的對(duì)話例子生成的摘要，加*的表明使用了外部總結(jié)數(shù)據(jù)。

TUCORE-GCN

論文標(biāo)題：

Graph Based Network with Contextualized Representations of Turns in Dialogue

論文鏈接：

https://arxiv.org/abs/2109.04008

項(xiàng)目地址：

https://github.com/BlackNoodle/TUCORE-GCN

基于對(duì)話的關(guān)系提取（RE）旨在提取對(duì)話中出現(xiàn)的兩個(gè)參數(shù)之間的關(guān)系。由于對(duì)話具有人稱代詞出現(xiàn)次數(shù)高、信息密度低的特點(diǎn)，并且對(duì)話中的大部分關(guān)系事實(shí)都沒有任何一個(gè)句子來支持，因此基于對(duì)話的關(guān)系抽取需要對(duì)于對(duì)話有全面的理解。

在這篇論文中，作者提出了通過關(guān)注人們理解對(duì)話的方式來建模的轉(zhuǎn)向上下文感知圖卷積網(wǎng)絡(luò)（TUrn COntext awaRE Graph Convolutional Network, TUCORE-GCN）。此外，作者提出了一種新方法，將對(duì)話中的情緒識(shí)別（ERC）任務(wù)視為基于對(duì)話的 RE。基于對(duì)話的 RE 數(shù)據(jù)集和三個(gè) ERC 數(shù)據(jù)集的實(shí)驗(yàn)表明，本文提出的模型在各種基于對(duì)話的自然語言理解任務(wù)中非常有效。

上圖是 TUCORE-GCN 的整體架構(gòu)。首先，通過將輸入對(duì)話提供給上下文編碼器來獲得每個(gè)標(biāo)記的上下文化表示。接下來，應(yīng)用使用周圍輪 mask 的 Masked Multi-Head Attention 來獲得增強(qiáng)每個(gè)輪含義的表示。然后，TUCORE-GCN 構(gòu)建對(duì)話圖并應(yīng)用 GCN 機(jī)制結(jié)合 BiLSTM。最后，分類模塊使用來自前一個(gè)模塊的信息來預(yù)測(cè)關(guān)系。

作者在 DialogRE、MELD、EmoryNLP 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，取得了很好的效果。

Unsupervised Conversation Disentanglement

論文標(biāo)題：

Unsupervised Conversation Disentanglement through Co-Training

論文鏈接：

https://arxiv.org/abs/2109.03199

項(xiàng)目地址：

https://github.com/LayneIns/Unsupervised_dialo_disentanglement

對(duì)話解耦旨在將混合的消息分成分離的會(huì)話，這是理解多方對(duì)話的一項(xiàng)基本任務(wù)。在這篇論文中，作者探索在不參考任何人工注釋的情況下訓(xùn)練對(duì)話解耦模型。

本文的方法建立在深度協(xié)同訓(xùn)練算法之上，該算法由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成：消息對(duì)分類器和會(huì)話分類器。前者負(fù)責(zé)檢索兩個(gè)消息之間的本地關(guān)系，而后者通過捕獲上下文感知信息將消息分類為會(huì)話。兩個(gè)網(wǎng)絡(luò)分別使用從未注釋語料庫構(gòu)建的偽數(shù)據(jù)進(jìn)行初始化。在深度協(xié)同訓(xùn)練過程中，使用會(huì)話分類器作為強(qiáng)化學(xué)習(xí)組件，通過最大化消息對(duì)分類器給出的局部獎(jiǎng)勵(lì)來學(xué)習(xí)會(huì)話分配策略。

對(duì)于消息對(duì)分類器，通過從會(huì)話分類器預(yù)測(cè)的解耦會(huì)話中以高置信度檢索消息對(duì)來豐富其訓(xùn)練數(shù)據(jù)。在大型電影對(duì)話數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與之前的監(jiān)督方法相比，本文提出的方法實(shí)現(xiàn)了有競(jìng)爭(zhēng)力的性能。

上圖是本文提出的協(xié)同訓(xùn)練框架的示意圖。一個(gè)消息對(duì)分類器（藍(lán)色），可以檢索兩個(gè)消息之間的關(guān)系。關(guān)系分?jǐn)?shù)將用作協(xié)同訓(xùn)練期間更新會(huì)話分類器的獎(jiǎng)勵(lì)。一個(gè)會(huì)話分類器（綠色），它可以通過檢索消息和會(huì)話之間的關(guān)系來執(zhí)行端到端的對(duì)話解耦。預(yù)測(cè)結(jié)果將用于構(gòu)建新的偽數(shù)據(jù)，以在協(xié)同訓(xùn)練期間訓(xùn)練消息對(duì)分類器。

GOLD

論文標(biāo)題：

GOLD: Improving Out-of-Scope Detection in Dialogues using Data Augmentation

論文鏈接：

https://arxiv.org/abs/2109.03079

項(xiàng)目地址：

https://github.com/asappresearch/gold

實(shí)用的對(duì)話系統(tǒng)需要強(qiáng)大的方法來檢測(cè)范圍外（out-of-scope, OOS）的話語，以避免對(duì)話中斷和相關(guān)的失敗。用標(biāo)記的 OOS 示例直接訓(xùn)練模型會(huì)產(chǎn)生合理的性能，但獲取此類數(shù)據(jù)是一個(gè)資源密集型過程。為了解決數(shù)據(jù)有限的問題，以前的方法側(cè)重于更好地對(duì)范圍內(nèi)（in-scope, INS）示例的分布進(jìn)行建模。

這篇文章引入了 GOLD（Generating Out-of-scope Labels with Data augmentation）作為一種正交技術(shù)，可以增強(qiáng)現(xiàn)有數(shù)據(jù)以訓(xùn)練在低數(shù)據(jù)狀態(tài)下運(yùn)行的更好的 OOS 檢測(cè)器。GOLD 使用來自輔助數(shù)據(jù)集的樣本生成偽標(biāo)記候選者，并通過新穎的過濾機(jī)制僅保留最有益的候選者進(jìn)行訓(xùn)練。

在三個(gè)目標(biāo)基準(zhǔn)的實(shí)驗(yàn)中，頂級(jí) GOLD 模型在所有關(guān)鍵指標(biāo)上都優(yōu)于所有現(xiàn)有方法，相對(duì)于中值 baseline 性能實(shí)現(xiàn)了 52.4%、48.9% 和 50.3% 的相對(duì)收益。作者還分析了 OOS 數(shù)據(jù)的獨(dú)特屬性，以確定最佳應(yīng)用 GOLD 方法的關(guān)鍵因素。

上圖是 GOLD 增強(qiáng)數(shù)據(jù)的示意圖。GOLD 通過從源數(shù)據(jù)集中提取話語并將這些句子與目標(biāo)數(shù)據(jù)集中的已知 OOS 樣本合并以生成偽標(biāo)記的 OOS 示例來執(zhí)行數(shù)據(jù)增強(qiáng)。

上圖是完整的 GOLD 過程：（1）從未標(biāo)記的目標(biāo)數(shù)據(jù)中采樣和注釋一個(gè)小的種子集。(2) 從源數(shù)據(jù)集中提取相似匹配。(3) 通過將種子數(shù)據(jù)中的話語與匹配句子交換來生成候選詞。(4) 選出最優(yōu)秀的候選者成為偽標(biāo)記的 OOS 示例。(5) 聚合所有選出的標(biāo)簽，形成最終的 OOS 訓(xùn)練集。

SPD

論文標(biāo)題：

Detecting Speaker Personas from Conversational Texts

論文鏈接：

https://arxiv.org/abs/2109.01330

項(xiàng)目地址：

https://github.com/jasonforjoy/spd

角色 persona 對(duì)于對(duì)話響應(yīng)預(yù)測(cè)很有用。然而，當(dāng)前研究中使用的角色是預(yù)先定義的，很難在對(duì)話之前獲得。為了解決這個(gè)問題，這篇文章研究了一項(xiàng)名為說話人角色檢測(cè)（Speaker Persona Detection, SPD）的新任務(wù)，該任務(wù)旨在基于純對(duì)話文本檢測(cè)說話人角色。

在此任務(wù)中，從給定對(duì)話文本的候選人中搜索出最匹配的角色。這是一個(gè)多對(duì)多的語義匹配任務(wù)，因?yàn)?SPD 中的上下文和角色都由多個(gè)句子組成。這些句子之間的長程依賴和動(dòng)態(tài)冗余增加了這項(xiàng)任務(wù)的難度。作者為 SPD 構(gòu)建了一個(gè)數(shù)據(jù)集，稱為 Persona Match on Persona-Chat（PMPC）。

此外，作者評(píng)估了通過分別連接兩組句子以粗粒度建立的上下文到角色（context-to-persona, C2P）匹配網(wǎng)絡(luò)的基線模型。并為此任務(wù)提出了話語到配置文件（utterance-to-profile, U2P）匹配網(wǎng)絡(luò)。U2P 模型以精細(xì)的粒度運(yùn)行，將上下文和角色都視為多個(gè)序列的集合。然后，對(duì)每個(gè)序列對(duì)進(jìn)行評(píng)分，并通過聚合為上下文-角色對(duì)獲得可解釋的總分。評(píng)估結(jié)果表明，U2P 模型顯著優(yōu)于其基線模型。

上圖是 SPD 任務(wù)的示意圖，匹配網(wǎng)絡(luò)判斷 persona 候選者是否與說話者的對(duì)話文本匹配。

上圖是論文提出的 PMPC 數(shù)據(jù)集的數(shù)據(jù)規(guī)模。

上圖分別是 C2P、U2P 結(jié)合 BOW、transformer、ESIM、BERT 的模型架構(gòu)。

CSA-NCT

論文標(biāo)題：

Towards Making the Most of Dialogue Characteristics for Neural Chat Translation

論文鏈接：

https://arxiv.org/abs/2108.13990

這篇論文中中，作者從預(yù)訓(xùn)練目標(biāo)以及上下文表示的格式的角度研究了? Seq2Seq 模型用于對(duì)話狀態(tài)跟蹤任務(wù)。作者證明了預(yù)訓(xùn)練目標(biāo)的選擇對(duì)狀態(tài)跟蹤質(zhì)量有顯著影響。特別是，掩碼跨度預(yù)測(cè)比自回歸語言建模更有效。

作者還探索將 Pegasus（一種基于跨度預(yù)測(cè)的文本摘要預(yù)訓(xùn)練目標(biāo)）用于狀態(tài)跟蹤模型，結(jié)果顯示，摘要任務(wù)的預(yù)訓(xùn)練對(duì)于對(duì)話狀態(tài)跟蹤也有很好的效果。此外，雖然循環(huán)狀態(tài)上下文表示也能很好地工作，但模型可能很難從早期的錯(cuò)誤中恢復(fù)過來。作者在 MultiWOZ 2.1-2.4、WOZ 2.0 和 DSTC2 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，觀察結(jié)果一致。

論文中得出的發(fā)現(xiàn)如下：

涉及掩碼跨度預(yù)測(cè)的預(yù)訓(xùn)練程序始終優(yōu)于自回歸語言建模目標(biāo)。

摘要的預(yù)訓(xùn)練對(duì)于 DST 的效果出奇地好，盡管它似乎是一項(xiàng)無關(guān)緊要的任務(wù)。

通過包含先前預(yù)測(cè)的狀態(tài)和恒定長度的對(duì)話歷史，循環(huán)模型工作得相當(dāng)好。然而，他們可能會(huì)遇到無法從早期錯(cuò)誤中恢復(fù)的問題。

GME

論文標(biāo)題：

Transferable Persona-Grounded Dialogues via Grounded Minimal Edits

論文鏈接：

https://arxiv.org/abs/2109.07713

落地對(duì)話模型生成基于某些概念的響應(yīng)。受落地對(duì)話數(shù)據(jù)分布的限制，在此類數(shù)據(jù)上訓(xùn)練的模型在數(shù)據(jù)分布和落地概念類型方面面臨可遷移性挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn)，作者提出了基于給定概念的最小編輯框架，該框架最小化編輯現(xiàn)有響應(yīng)。

專注于 persona，作者提出了落地最小編輯器（Grounded Minimal Editor, GME），它通過解耦和重新組合響應(yīng)中與角色相關(guān)和與角色無關(guān)的部分來學(xué)習(xí)編輯。為了評(píng)估以角色為基礎(chǔ)的最小編輯，作者引入了 PersonaMinEdit 數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果表明 GME 大大優(yōu)于 baseline。

為了評(píng)估可轉(zhuǎn)移性，作者在 BlendedSkillTalk 的測(cè)試集上進(jìn)行了實(shí)驗(yàn)，并表明 GME 可以編輯對(duì)話模型的響應(yīng)，以在很大程度上提高他們的角色一致性，同時(shí)保留知識(shí)和同理心的使用。

上圖是基于 persona 的最小編輯。

上圖所示算法是 GME 的完整過程。在推理時(shí)，GME 首先通過屏蔽原始響應(yīng) 中與角色相關(guān)的跨度來創(chuàng)建響應(yīng)模板 ，然后將模板 、persona ???????????????????????????????????????????????????和???????????????????????????????????????????????????對(duì)話歷史 重新組合成編輯后的響應(yīng) 。設(shè)計(jì)模板來近似未觀察到的變量 ，這將 GME 與以前基于檢索的對(duì)話模型區(qū)分開來。再使用 來表示訓(xùn)練和推理的模板。

在訓(xùn)練期間，學(xué)習(xí)了兩個(gè)模塊：1）用于上述重組的生成器和；2）幫助在推理時(shí)創(chuàng)建響應(yīng)模板的掩碼分類器。注意，除了 persona 之外，GME 還可以應(yīng)用于其他基本概念。

上圖中，左邊是訓(xùn)練示例和輸入格式，右邊是推理示例和輸入格式。

DST-as-Prompting

論文標(biāo)題：

Dialogue State Tracking with a Language Model using Schema-Driven Prompting

論文鏈接：

https://arxiv.org/abs/2109.07506

項(xiàng)目地址：

https://github.com/chiahsuan156/DST-as-Prompting

面向任務(wù)的對(duì)話系統(tǒng)通常使用對(duì)話狀態(tài)跟蹤來表示用戶的意圖，這涉及填充預(yù)定義槽的值，通常使用具有專用分類器的特定于任務(wù)的架構(gòu)。最近，使用基于預(yù)訓(xùn)練語言模型的更通用的架構(gòu)獲得了良好的結(jié)果。

這篇文章，作者介紹了語言建模方法的一種新變體，它使用模式驅(qū)動(dòng)的提示來提供用于分類和非分類槽的任務(wù)感知?dú)v史編碼。我們通過使用模式描述（一種自然發(fā)生的域內(nèi)知識(shí)來源）增強(qiáng) prompting 來進(jìn)一步提高性能。純生成系統(tǒng)在 MultiWOZ 2.2 上實(shí)現(xiàn) SOTA。

上圖是多領(lǐng)域域場(chǎng)景的生成 DST 方法概述。前三張圖說明了本文考慮的三種不同的生成方法，下圖包括對(duì)話歷史、域名、插槽名稱、插槽的自然語言描述（類型、有效值集等）的具體示例。子圖 (b)(c) 展示了提出的兩個(gè)基于提示的 DST 模型，其中 (c) 中的方法包括考慮用于跟蹤的插槽的額外自然語言描述。

Confirm-it

?????論文標(biāo)題：

Looking for Confirmations: An Effective and Human-Like Visual Dialogue Strategy

論文鏈接：

https://arxiv.org/abs/2109.05312

在視覺對(duì)話任務(wù)中生成面向目標(biāo)的問題是一個(gè)具有挑戰(zhàn)性且長期存在的問題。最先進(jìn)的系統(tǒng)被證明會(huì)產(chǎn)生問題，雖然語法上是正確的，但通常缺乏有效的策略，而且聽起來對(duì)人類來說很不自然。受關(guān)于信息搜索和跨情境單詞學(xué)習(xí)的認(rèn)知文獻(xiàn)的啟發(fā)，作者設(shè)計(jì)了 Confirm-it，這是一個(gè)基于波束搜索重排序算法的模型，通過提出問題來確認(rèn)模型對(duì)參照物的推測(cè)。將 GuessWhat?! 游戲作為案例研究，結(jié)果表明，Confirm-it 生成的對(duì)話比不重新排序的波束搜索解碼更自然、更有效。

上圖描述了 Confirm-it 使用的波束搜索重排序算法，以促進(jìn)有效對(duì)話策略的生成。給定一個(gè)圖像、一組候選對(duì)象、一個(gè)目標(biāo)對(duì)象 和 B 的波束大小，在給定當(dāng)前對(duì)話歷史的每個(gè)對(duì)話回合中，模型預(yù)測(cè)候選對(duì)象集的概率分布。獲得最高概率的候選者被認(rèn)為是模型的假設(shè) 。QGen 輸出 B 個(gè)問題，按概率排序。

這些問題中的每一個(gè)都由模型的內(nèi)部 Oracle 回答，該 Oracle 接收 作為目標(biāo)對(duì)象。在這 B 個(gè)問題中，Confirm-it 選擇問題 Q，與內(nèi)部 Oracle 提供的答案配對(duì)，增加模型對(duì) 的置信度，以 Guesser 分配的概率來衡量。外部 Oracle（知道真實(shí)目標(biāo)對(duì)象 的人）回答 Q，并將這個(gè)新的問答對(duì)附加到對(duì)話歷史中。

上圖是 Confirm-it 的具體運(yùn)作方式。

OneCommon

論文標(biāo)題：

Reference-Centric Models for Grounded Collaborative Dialogue

論文鏈接：

https://arxiv.org/abs/2109.05042

項(xiàng)目地址：

https://github.com/dpfried/onecommon

在這篇文章中，作者提出了一個(gè)落地的神經(jīng)對(duì)話模型，該模型在部分可觀察的參考游戲中成功地與人們合作。基于一個(gè)設(shè)置，兩個(gè)代理各自觀察世界上下文的重疊部分，并且需要識(shí)別并商定他們共享的某個(gè)對(duì)象。因此，代理應(yīng)該匯集他們的信息并準(zhǔn)確地交流以解決任務(wù)。對(duì)話代理使用結(jié)構(gòu)化參考解析器從合作伙伴的話語中準(zhǔn)確地確定所指對(duì)象，使用循環(huán)記憶對(duì)這些所指對(duì)象設(shè)置條件，并使用實(shí)用的生成程序來確保合作伙伴能夠解析代理產(chǎn)生的參考。

作者在 OneCommon 空間基礎(chǔ)對(duì)話任務(wù)進(jìn)行評(píng)估，其中涉及排列在板上的多個(gè)點(diǎn)，這些點(diǎn)的位置、大小和陰影不斷變化。代理在任務(wù)方面的表現(xiàn)大大優(yōu)于之前的技術(shù)水平，在自我對(duì)弈評(píng)估中成功完成任務(wù)的相對(duì)提高了 20%，在人類評(píng)估的成功上獲得了 50% 的相對(duì)提高。

上圖是本文的系統(tǒng) (A) 與人類伙伴 (P) 生成的示例對(duì)話。參與者對(duì)共享板有不同但重疊的視圖，其中包含不同形狀和大小的點(diǎn)。合作伙伴必須通過對(duì)話進(jìn)行協(xié)作，以便找到并選擇一個(gè)對(duì)雙方都可見的點(diǎn)。

上圖是模型的模塊間的關(guān)系。在給定的回合中，代理首先使用參考檢測(cè)器 (1) 識(shí)別其伙伴話語 中的參考表達(dá)。然后使用參考解析模塊 (2) 解析每個(gè)參考，該模塊使用參考段和世界上下文 ? 的編碼表示 。

然后使用所指對(duì)象來更新所指對(duì)象內(nèi)存 ，并與代理自己的點(diǎn)進(jìn)行交叉引用，以確認(rèn)代理是否也可以看到它們（3）。給定所指內(nèi)存 和確認(rèn)變量 ，預(yù)測(cè)模塊 (4) 生成一系列點(diǎn)配置 給參考。最后，話語生成模塊 (5) 使用對(duì)話歷史 、確認(rèn)變量以及所選提及和世界上下文的參與表示來生成響應(yīng) 。

上圖是在對(duì)話系統(tǒng)的人工評(píng)估期間收集的示例對(duì)話。作者為每個(gè)系統(tǒng)展示了一個(gè)不成功（左）和一個(gè)成功（右）的例子。

ConDigSum

論文標(biāo)題：

Topic-Aware Contrastive Learning for Abstractive Dialogue Summarization

論文鏈接：

https://arxiv.org/abs/2109.04994

項(xiàng)目地址：

https://github.com/Junpliu/ConDigSum

與新聞報(bào)道和百科全書文章等結(jié)構(gòu)良好的文本不同，對(duì)話內(nèi)容通常來自兩個(gè)或多個(gè)對(duì)話者，彼此交換信息。在這種情況下，對(duì)話的主題可能會(huì)隨著進(jìn)展而變化，并且某個(gè)主題的關(guān)鍵信息通常分散在不同說話者的多個(gè)話語中，這對(duì)抽象地總結(jié)對(duì)話提出了挑戰(zhàn)。

為了捕獲對(duì)話的各種主題信息并概述捕獲主題的顯著事實(shí)，這篇文章提出了兩個(gè)主題感知對(duì)比學(xué)習(xí)目標(biāo)，即一致性檢測(cè)和子摘要生成目標(biāo)，它們有望隱式地對(duì)主題變化進(jìn)行建模并處理對(duì)話摘要任務(wù)的信息分散挑戰(zhàn)。提出的對(duì)比目標(biāo)被設(shè)計(jì)為主要對(duì)話摘要任務(wù)的輔助任務(wù)，通過替代參數(shù)更新策略聯(lián)合起來。大量實(shí)驗(yàn)表明，這篇文章所提出的簡單方法明顯優(yōu)于 baseline，并實(shí)現(xiàn)了新的最先進(jìn)性能。

上圖是對(duì)話及其配對(duì)摘要的示例。、 和 分別代表參考主題片段、當(dāng)前情況、到達(dá)時(shí)間和吃的食物。相應(yīng)的摘要由三個(gè)句子 、 和 組成。每個(gè) 對(duì)應(yīng)一個(gè)片段 （i = 1, 2, 3）。 和 是主題間片段。

上圖是具有對(duì)比目標(biāo)的模型結(jié)構(gòu)。這項(xiàng)工作提出通過以對(duì)比的方式對(duì)話語連貫性進(jìn)行建模來隱式捕獲對(duì)話主題信息。構(gòu)建連貫性檢測(cè)目標(biāo)是為了推動(dòng)模型更多地關(guān)注更連貫且可能包含來自相同主題的顯著信息的片段。此外，由于目標(biāo)是為對(duì)話中的每個(gè)主題生成更好的摘要，作者還引入了小結(jié)生成目標(biāo)，這有望迫使模型識(shí)別最顯著的信息并生成相應(yīng)的摘要。

請(qǐng)注意，這兩個(gè)目標(biāo)都是以對(duì)比方式構(gòu)建的，不需要額外的人工注釋或額外的算法。這兩個(gè)對(duì)比目標(biāo)可以通過交替參數(shù)更新策略與主要對(duì)話摘要任務(wù)相結(jié)合，從而形成最終模型 CONDIGSUM。

PCR

論文標(biāo)題：

Exophoric Pronoun Resolution in Dialogues with Topic Regularization

論文鏈接：

https://arxiv.org/abs/2109.04787

項(xiàng)目地址：

https://github.com/hkust-knowcomp/exo-pcr

將代詞解析為其所指對(duì)象長期以來一直被研究為一個(gè)基本的自然語言理解問題。以前關(guān)于代詞共指解析（pronoun coreference resolution, PCR）的工作主要側(cè)重于將代詞解析為文本中的提及，而忽略了外部場(chǎng)景。

外顯代詞在日常交流中很常見，說話者可能會(huì)直接使用代詞來指代環(huán)境中存在的某些物體，而無需先介紹物體。雖然對(duì)話文本中沒有提到這些對(duì)象，但它們通常可以通過對(duì)話的一般主題來消除歧義。論文作者建議共同利用對(duì)話的本地上下文和全局主題來解決文本外 PCR 問題。大量實(shí)驗(yàn)證明了添加主題正則化以解析外顯代詞的有效性。

上圖是在有（綠）和沒有（紅）對(duì)話主題的幫助下解決日常對(duì)話中的外顯代詞的例子。

上圖是本文任務(wù)的一個(gè)例子。代詞與其文本內(nèi)和文本外的所指對(duì)象相關(guān)聯(lián)，黃色是外顯代詞，綠色是內(nèi)指代詞。

上圖是這篇文章提出的模型，共包含三個(gè)主要組成部分：局部相似性得分計(jì)算、全局相關(guān)性得分計(jì)算和主題預(yù)測(cè)。局部評(píng)分模塊根據(jù)它們的文本表示計(jì)算代詞 p 和候選跨度 d 之間的相似性。全局評(píng)分模塊衡量它們與全局對(duì)話主題的相關(guān)性。為了幫助主題嵌入更好地捕捉主題信息，主題預(yù)測(cè)模塊使用對(duì)話嵌入來擬合 LDA 預(yù)測(cè)的主題向量作為輔助任務(wù)。

上圖是文本外 PCR 的案例研究。目標(biāo)代詞（黃）和正確的文本外對(duì)象（綠）及其提示用不同的顏色標(biāo)記。

·

·

總結(jié)

以上是生活随笔為你收集整理的对话系统有哪些最新进展？这17篇EMNLP 2021论文给你答案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。