論文標題：

Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs

論文作者：

Leonardo F. R. Ribeiro, Yue Zhang, Claire Gardent, Iryna Gurevych

論文鏈接：

https://arxiv.org/abs/2001.11003

---

從知識圖譜中生成文本是一個相當有前景的研究方向，它可以通過結合知識生成更加通順、有意義的文本。

然而，過去的方法大都只用局部知識或全局知識，沒能充分利用二者的優勢。本文提出將局部知識和全局知識相結合，從而顯著提高文本生成的效果。

從知識圖譜到文本生成

文本生成有多種途徑，比如從一段文本到另一段文本（翻譯、摘要），從一個表格到一段文本，從一個圖片到一段文本。

但隨著知識圖譜在近年來的興起，從知識圖譜生成文本已然成為一個相當有發展前景的方向。

比如下圖，給定一個局部知識圖譜(a)，如果我們能據此直接生成文本(b)，那么現實中的很多應用就可以得到解決。

過去的知識圖譜文本生成方法大都使用了圖卷積網絡GCN，它們要么是用全局的結點(c)——假定每個結點都和其他結點相連，要么是用局部的結點(d)——只有一部分結點相連。前者忽略了圖的結構，而后者缺乏全局信息。

為此，本文提出將全局結點和局部結點結合起來，既可以捕捉局部圖結構信息，又可以建模圖整體的知識。

使用這種方法，本文在數據集AGENDA和WebNLG上的結果顯著超越之前的最好結果，表明了該方法的有效性。

總的來說，本文的貢獻如下：

• 提出四種模型將局部圖知識和全局圖知識結合起來；

• 在兩個典型圖到文本的數據集上實現當前最佳結果；

• 對照實驗表明該方法可以處理更大的知識圖譜和更長的文本。

圖譜到文本模型

圖卷積網絡（GCN）

建模圖結構的主流方法是使用圖卷積網絡（GCN）。設是一個圖網絡，每條邊中，是結點，表示結點之間的關系。每個結點有一個特征向量，它的聚集向量由下式更新：

這里，是第層的聚集函數，是結點之間的關系，是的鄰接結點。在得到聚集向量之后，就可以更新它的特征向量了：

這里是結合函數，可以定義為兩個向量的拼接。

全局圖編碼

在全局圖編碼器中，每個結點都和其他所有結點相連。我們可以定義聚集函數為所有其他結點特征的加權平均：

然后再使用多頭注意力機制，將多個聚集向量拼接起來，就得到了聚集向量：

最后，同Transformer，我們可以定義結合函數為下述操作：

注意到，在全局圖編碼中，我們沒有用到關系集合，所以說，我們忽略了知識之間的相關性，我們需要用局部圖編碼去彌補這個問題。

局部圖編碼

同樣，我們可以定義局部圖編碼器中的聚集函數為所有其他鄰接結點的加權平均：

我們也用多頭機制得到聚集向量。最后，我們定義結合函數為一個RNN：

圖表示

知識圖譜中的結點是實體，因此，一個結點（實體）可能包含多個字符。為此，我們把三元組中的實體分解為字符，每個字符都是一個新結點，任意一對字符都滿足關系。如此一來，模型就可以在字符級別而不是在實體級別學習，從而降低學習難度。

結合局部知識和全局知識

本文提出兩種方法、共四種模型去結合局部知識和全局知識。

這兩種方法是并行編碼和級聯編碼。并行編碼是分別編碼局部和全局知識，然后再把二者拼接起來；級聯編碼是先進行全局編碼，然后將得到的全局編碼特征向量作為局部編碼的輸入，再得到最后的結果。

同時，這兩種方法都有層級和非層級之分。非層級即各自獨立進行，層級即以層為單位進行。這四種模型示意圖如下所示：

按照上圖順序，這四個模型分別稱為PGE，CGE，PGE-LW和CGE-LW。

實驗

本文在兩個圖譜到文本的數據集上實驗：AGENDA和WebNLG。數據集介紹和實驗設置詳見原文。下表是AGENDA上的實驗結果：

可以看到，模型CGE取得了平均最好的結果。并且所提出的四個模型都顯著好于極限模型。

下表是在數據集WebNLG上的實驗結果。CGE比之前的最好模型在BLEU值上高5-6個點，在METEOR上高2-3個點，表明其生成文本的擬合度是顯著更好的。

下表是對照實驗的結果。無論是去掉全局編碼器還是局部編碼器，模型的結果都會受到影響，這說明二者的確建模了圖譜的不同角度的知識，二者的結合會有更好的效果產生。

下圖是輸入結點數量、生成句子長度和效果之間的關系。總的來說，當生成長度一定時，輸入結點越多，效果越好，當結點數量較少的時候，基線模型和本文模型都表現得不算好。

值得注意的是，當生成的長度更長，而結點數量很少的時候，本文模型能顯著優于基線模型，這表明本文模型能夠在圖較小的時候充分利用結點和結點之間的知識，從而生成長文本。

小結

本文提出了一種結合圖網絡中全局知識和局部知識的網絡結構，充分利用二者的優勢更好地捕捉圖譜信息。兩個數據集上的實驗結果顯著優于之前的最佳結果，實現了當前的最好表現。

并且，通過對照實驗發現，局部編碼和全局編碼對模型的效果都有不可忽略的影響，有助于生成更好的長文本序列。

如何進一步通過知識圖譜更好地生成文本，不但是學術界未來關注的問題，也對工業界的發展有著重要推動作用。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的从知识图谱到文本：结合局部和全局图信息生成更高质量的文本的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。