讀讀論文吧，明天是周一也是新的一天，加油奧利給。

文章目錄

• 前言
• 一、主要貢獻(xiàn)
• 二、模型框架
• 三、新知
• 總結(jié)

---

前言

TEG任務(wù)是指給定 topic 集合，生成主題相關(guān)、段落集的文本。過去的任務(wù)忽略了常識知識，本文通過動態(tài)記憶機制將外部知識庫中的常識集成到生成器中。 因為來源信息的極度不足可能會使生成的文章在新穎性和主題一致性方面質(zhì)量低下。所以在這篇論文中精心設(shè)計了一個記憶增強神經(jīng)模型，有效地融合了常識性知識。 其動機是來自外部知識庫的常識可以提供額外的背景信息。

一、主要貢獻(xiàn)

主要貢獻(xiàn)有以下兩點
1.我們提出了一個帶有對抗性訓(xùn)練的記憶增強神經(jīng)模型，將外部常識知識集成到主題論文生成中。
2.我們開發(fā)了一系列自動評估指標(biāo)，以全面評估生成文章的質(zhì)量。

二、模型框架

常識通過動態(tài)記憶機制集成到生成器中。 在解碼階段，該模型可以關(guān)注每個詞的信息最豐富的記憶概念。 同時，動態(tài)地更新記憶矩陣以包含生成的文本的信息。 這種記憶和生成的文本之間的相互作用有助于主題的連貫轉(zhuǎn)換。 為了提高主題一致性，作者采用了基于多標(biāo)簽鑒別器的對抗性訓(xùn)練。 判別信號可以綜合評估輸出對給定主題的覆蓋程度，使得生成的論文更加緊密地圍繞所有輸入主題的語義。

模型對抗性訓(xùn)練來交替訓(xùn)練生成器和鑒別器。編碼器使用LSTM,其目的是集成主題信息。 它從兩個方向讀取輸入的主題序列X，并計算每個主題的隱藏狀態(tài)。解碼器配備了一個記憶機制，以有效地整合常識知識。動態(tài)記憶機制使記憶與生成文本之間的相互作用，有助于生成短文中主題的連貫轉(zhuǎn)換。由 Highway network 啟發(fā)，應(yīng)用一個門控機制去確定 i-th 記憶條目要被更新多少，動態(tài)更新使得記憶和生成的文本之間有了交互。
引入鑒別器D來評價輸入主題與生成的文章之間的主題一致性，進(jìn)一步提高了文本質(zhì)量。
模型評估從新穎、多樣、一致性三方面評估，評估方法分為自動評估和人力評估。

三、新知

1.比較有意思的是作者這里也采用了一種消融研究：沒有對抗性訓(xùn)練，沒有記憶機制，沒有動態(tài)更新。來體現(xiàn)該模型的優(yōu)越性。消融研究表明對抗訓(xùn)練和動態(tài)記憶機制都有助于提高輸出質(zhì)量。 然而，一個有趣的發(fā)現(xiàn)是，對抗訓(xùn)練和記憶機制側(cè)重于改善模型的不同方面。通過這個也表明外部的常識知識，可以豐富信息，導(dǎo)致輸出更加新穎多樣。
2.還有一點就是在本篇論文當(dāng)中作者將對抗學(xué)習(xí)與深度學(xué)習(xí)結(jié)合起來，模型的效果較之前人更好。
參考知乎大佬解讀

總結(jié)

總結(jié)

以上是生活随笔為你收集整理的文本生成论文阅读Enhancing Topic-to-Essay Generation with External Commonsense Knowledge的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。