?作者｜王曉珂

學(xué)校｜中國(guó)人民大學(xué)信息學(xué)院

研究方向｜自然語(yǔ)言處理和對(duì)話系統(tǒng)

來(lái)源｜RUC AI Box

近年來(lái)開放域的閑聊對(duì)話研究如雨后春筍般涌現(xiàn)，甚至還做起了跨界，如最近炙手可熱的會(huì)話推薦系統(tǒng)。而作為人工智能王冠上明珠中的一顆，自然語(yǔ)言處理中隨時(shí)打算挑戰(zhàn)圖靈測(cè)試的對(duì)話系統(tǒng)，當(dāng)然是不可能止步于機(jī)械地一問一答的形式，因此本文基于一對(duì)多生成這個(gè)角度，探索相關(guān)領(lǐng)域的多樣性生成，希望能給一對(duì)多對(duì)話生成注入新的構(gòu)思。下面主要介紹近來(lái)的 5 篇多樣性生成的研究成果。

01

Target Conditioning for One-to-Many Generation

這篇論文是 Facebook 收錄在 EMNLP 2020 的工作，主要是為了解決機(jī)器翻譯模型中缺乏多樣性的問題。本文認(rèn)為當(dāng)前的 beam search 方法生成的目標(biāo)語(yǔ)句仍缺乏多樣性，時(shí)常出現(xiàn)詞語(yǔ)重復(fù)和語(yǔ)義重疊的問題。并且之前的模型都是在 1-to-1 的數(shù)據(jù)集上進(jìn)行訓(xùn)練，缺少對(duì)鼓勵(lì)多樣性的目標(biāo)函數(shù)的設(shè)計(jì)。

這篇工作借鑒了 discrete autoencoders 的思路，提出將一個(gè) discrete target encoder 引入到翻譯模型中，方便將每一個(gè)目標(biāo)語(yǔ)句關(guān)聯(lián)到對(duì)應(yīng)的 variable 或者 domain。其中每一個(gè) domain 對(duì)應(yīng)一個(gè) embedding，這樣在測(cè)試階段可以根據(jù)每個(gè) domain embedding 來(lái)生成多樣性的翻譯。并且這種離散化的表示方式允許以無(wú)監(jiān)督的方式來(lái)改變翻譯的 domain 信息。

02

Diversify Question Generation with Continuous Content Selectors and Question Type Modeling

這篇論文是華為諾亞方舟收錄在 EMNLP 2020 的工作。主要關(guān)注的是 QA 工作的逆任務(wù)，基于回復(fù)和上下文來(lái)生成問題，同樣這也在一對(duì)多生成的范疇內(nèi)。本文主要思想是通過(guò)關(guān)注 context 中的不同位置以及表達(dá)的不同含義來(lái)建模多樣性。

基于 CVAE，通過(guò)采用 multimodal 的先驗(yàn)分布來(lái)構(gòu)造更多樣的 content selectors，從而能夠在 context 定位更多樣的關(guān)注點(diǎn)。在預(yù)測(cè) question type 時(shí)，提出 diversity-promoting 算法，主要通過(guò)引入 decay 變量來(lái)限制相同類型問題分布的出現(xiàn)概率，從而鼓勵(lì)預(yù)測(cè)出更豐富的 question type。

03

Focus-Constrained Attention Mechanism for CVAE-based Response Generation

這篇工作是小米 AILab 和香港理工大學(xué)的合作論文。文中指出了目前基于 CVAE 的方法僅僅是依賴 discourse-level latent variable 來(lái)進(jìn)行多樣性的建模，認(rèn)為這太過(guò)粗粒度。因此提出使用 fine-grained word-level information。

具體來(lái)說(shuō)就是，首先通過(guò)引入更加細(xì)粒度的 focus 信號(hào)，來(lái)衡量對(duì)話上文和回復(fù)的語(yǔ)義集中度。然后提出一個(gè) focus-constrained 的注意力機(jī)制，以充分利用 focus 信號(hào)并輔助回復(fù)的生成。實(shí)驗(yàn)結(jié)果表明，通過(guò)利用細(xì)粒度的 focus 信號(hào)，文中的模型確實(shí)可以產(chǎn)生更多樣化以及更可控的回復(fù)。

04

Controllable Text Generation with Focused Variation

本文指出了當(dāng)前可控文本生成的不足，在給定 attributes 的情況下，模型往往不足以生成足夠相關(guān)的文本，以及很容易生成無(wú)意義或者重復(fù)的文本。

作者從 CVAE 及其變種的角度分析，當(dāng)前 CVAE 系列在處理這種可控屬性的問題上都表現(xiàn)得不是很好。當(dāng)然這個(gè)不足也是當(dāng)前對(duì)話生成中普遍存在的問題。真正實(shí)現(xiàn)可控文本的生成，那離可控地進(jìn)行多樣化的文本生成也就不遠(yuǎn)了。

這篇工作從可控性和多樣性兩個(gè)角度來(lái)進(jìn)行文本生成的工作，設(shè)計(jì) context 和 style 兩類屬性編碼器和解碼區(qū)解構(gòu)整個(gè)語(yǔ)義空間，以此來(lái)實(shí)現(xiàn)屬性的可控性和多樣化。

05

COD3S: Diverse Generation with Discrete Semantic Signatures

本文主要針對(duì)在 decoding 階段的采樣方法進(jìn)行改進(jìn)。經(jīng)典的 beam search 方法易造成句法、詞匯、語(yǔ)義上的重疊和重復(fù)。因此本篇工作提出顯式地捕捉語(yǔ)義差異的信號(hào)，從而實(shí)現(xiàn)多樣化的采樣策略。

該模型主要是用 sentence-BERT (SBERT) 獲得的上下文相關(guān)語(yǔ)義表示，通過(guò)使用 Locality-Sensitive Hashing (LSH) 來(lái)獲得句子的離散語(yǔ)義代碼。然后采用兩階段的解碼策略，獲得最相關(guān)的代碼，作為前綴，使用 prefix-conditioned beam search 方法進(jìn)行解碼。

結(jié)束語(yǔ)：一對(duì)多對(duì)話生成以及多樣性文本生成的研究任重而道遠(yuǎn)。給模型一個(gè)輸入，然后返回多個(gè)引入知識(shí)、涵蓋類型廣但又不存在語(yǔ)義重疊的回復(fù)，目前來(lái)看還沒有真正地實(shí)現(xiàn)。希望本文能給讀者帶來(lái)一些啟發(fā)。如有不同見解，歡迎指正批評(píng)、不吝賜教。

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的多样性文本生成任务的研究进展的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。