論文：2019年《Evaluating the Factual Consistency of Abstractive Text Summarization》
https://arxiv.org/pdf/1910.12840.pdf

motivation

經研究高達30%的摘要是和原文事實不符的，到目前為止也沒有非常好的辦法去解決摘要與原文的事實一致性。

introduction

與事實一致的問題與兩個問題最為接近：一個是natural language inference（NLI），一個是fact checking。

當前的NLI數據集一般都是短的單句匹配，事實一致性卻是要與全文去匹配。

fact checking是事實與知識匹配，而事實一致性是原文提供的信息和原文作匹配，并不保證信息是否一致。

methods

本文用了一種弱監督的方法構造訓練集，通過構造的sentence-document pair，可以判斷是否與事實一致。

訓練集由采樣原文句子獲得。

• paraphrasing

  采用回譯方法，用Google Cloud Translation API，默認語義不變。

• entity and number swapping

  用NER識別后，隨機替換。比如人名就替換成識別到的其他人名。用的是SpaCy NER tagger，默認語義發生改變。

• pronoun swapping

  先找出與性別有關的代詞，再去另一個性別找對應的詞。默認語義發生改變。

• 否認

  直接加入否定詞not或n’t。語義發生改變。

• 噪聲

  隨機插入或刪除某些詞，增加魯棒性。

測試集和驗證集由人工標注。句子來源于摘要模型，摘要的每一句都和原文構成document-sentence pair。

模型使用BERT，分成兩個類別 CONSISTENT 和 INCONSISTENT，使用 CLS 向量去做分類，這個模型叫 FactCC。同時做了個類似NER的模型，叫 FactCCX，標注出哪里與事實不符。

Result

FactCCX：

結論

簡單，可操作性很強，用中文的語料也可以做。

總結

以上是生活随笔為你收集整理的【文本生成】评价指标：事实一致性Evaluating the Factual Consistency of Abstractive Text Summarization的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。