?作者｜王曉珂

學校｜中國人民大學信息學院

研究方向｜自然語言處理和對話系統

來源｜RUC AI Box

近年來開放域的閑聊對話研究如雨后春筍般涌現，甚至還做起了跨界，如最近炙手可熱的會話推薦系統。而作為人工智能王冠上明珠中的一顆，自然語言處理中隨時打算挑戰圖靈測試的對話系統，當然是不可能止步于機械地一問一答的形式，因此本文基于一對多生成這個角度，探索相關領域的多樣性生成，希望能給一對多對話生成注入新的構思。下面主要介紹近來的 5 篇多樣性生成的研究成果。

01

Target Conditioning for One-to-Many Generation

這篇論文是 Facebook 收錄在 EMNLP 2020 的工作，主要是為了解決機器翻譯模型中缺乏多樣性的問題。本文認為當前的 beam search 方法生成的目標語句仍缺乏多樣性，時常出現詞語重復和語義重疊的問題。并且之前的模型都是在 1-to-1 的數據集上進行訓練，缺少對鼓勵多樣性的目標函數的設計。

這篇工作借鑒了 discrete autoencoders 的思路，提出將一個 discrete target encoder 引入到翻譯模型中，方便將每一個目標語句關聯到對應的 variable 或者 domain。其中每一個 domain 對應一個 embedding，這樣在測試階段可以根據每個 domain embedding 來生成多樣性的翻譯。并且這種離散化的表示方式允許以無監督的方式來改變翻譯的 domain 信息。

02

Diversify Question Generation with Continuous Content Selectors and Question Type Modeling

這篇論文是華為諾亞方舟收錄在 EMNLP 2020 的工作。主要關注的是 QA 工作的逆任務，基于回復和上下文來生成問題，同樣這也在一對多生成的范疇內。本文主要思想是通過關注 context 中的不同位置以及表達的不同含義來建模多樣性。

基于 CVAE，通過采用 multimodal 的先驗分布來構造更多樣的 content selectors，從而能夠在 context 定位更多樣的關注點。在預測 question type 時，提出 diversity-promoting 算法，主要通過引入 decay 變量來限制相同類型問題分布的出現概率，從而鼓勵預測出更豐富的 question type。

03

Focus-Constrained Attention Mechanism for CVAE-based Response Generation

這篇工作是小米 AILab 和香港理工大學的合作論文。文中指出了目前基于 CVAE 的方法僅僅是依賴 discourse-level latent variable 來進行多樣性的建模，認為這太過粗粒度。因此提出使用 fine-grained word-level information。

具體來說就是，首先通過引入更加細粒度的 focus 信號，來衡量對話上文和回復的語義集中度。然后提出一個 focus-constrained 的注意力機制，以充分利用 focus 信號并輔助回復的生成。實驗結果表明，通過利用細粒度的 focus 信號，文中的模型確實可以產生更多樣化以及更可控的回復。

04

Controllable Text Generation with Focused Variation

本文指出了當前可控文本生成的不足，在給定 attributes 的情況下，模型往往不足以生成足夠相關的文本，以及很容易生成無意義或者重復的文本。

作者從 CVAE 及其變種的角度分析，當前 CVAE 系列在處理這種可控屬性的問題上都表現得不是很好。當然這個不足也是當前對話生成中普遍存在的問題。真正實現可控文本的生成，那離可控地進行多樣化的文本生成也就不遠了。

這篇工作從可控性和多樣性兩個角度來進行文本生成的工作，設計 context 和 style 兩類屬性編碼器和解碼區解構整個語義空間，以此來實現屬性的可控性和多樣化。

05

COD3S: Diverse Generation with Discrete Semantic Signatures

本文主要針對在 decoding 階段的采樣方法進行改進。經典的 beam search 方法易造成句法、詞匯、語義上的重疊和重復。因此本篇工作提出顯式地捕捉語義差異的信號，從而實現多樣化的采樣策略。

該模型主要是用 sentence-BERT (SBERT) 獲得的上下文相關語義表示，通過使用 Locality-Sensitive Hashing (LSH) 來獲得句子的離散語義代碼。然后采用兩階段的解碼策略，獲得最相關的代碼，作為前綴，使用 prefix-conditioned beam search 方法進行解碼。

結束語：一對多對話生成以及多樣性文本生成的研究任重而道遠。給模型一個輸入，然后返回多個引入知識、涵蓋類型廣但又不存在語義重疊的回復，目前來看還沒有真正地實現。希望本文能給讀者帶來一些啟發。如有不同見解，歡迎指正批評、不吝賜教。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的多样性文本生成任务的研究进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。