利用文本信息還有還有另外一個非常重要的來源，就是來自于實體的描述，在知識庫里對一些實體構建關于它的一個簡單的介紹（short description）。

這些簡短的介紹，往往能夠很好的反映實體的表示，它的語義信息。那我們就想有沒有可能充分利用這些比較簡短的描述，去更好的進行知識的表示學習。

2016年清華大學發表了一篇論文《Representation Learning of Knowledge Graphs with Entity Descriptions》，論文中利用cnn，也就是卷積神經網絡（上圖），去對實體描述進行表示學習，那么就可以利用它的description去構建實體的表示。這個實體的表示同時也會參與knowledge graph里面transe的學習。通過這種方式，就可以可以更好的學習得到實體關系的表示。

Zero-shot場景下的關系預測

這種實體充分利用描述信息這種實體表示，它有一個非常重要的好處是，當出現一個新的實體，這個實體從來沒有在knowledge graph中出現過，那么就沒有辦法利用transe去得到這種實體表示，我們就可以通過《Representation Learning of Knowledge Graphs with Entity Descriptions》中的cnn模型，利用實體的介紹，那么就可以自動的重建關于實體的表示。

根據上圖可以看出利用重新構建的實體表示可以很好的去建立起這些實體跟知識庫里已有的實體之間的關系預測。 實際上也能夠取得一個相對不錯的效果，也說明在zero shot scenario場景下，可以利用實體描述信息重建實體表示，能相對較好的進行關系預測。

融合實體所在句子的知識表示

在大規模互聯網上實際更多是在用同時出現兩個實體的句子，前面所提到的每一個實體，可以利用它們的描述信息輔助的進行知識表示。

假設這些實體描述信息存在互聯網文本數據中，清華大學團隊認為在互聯網上出現的那些某一個實體的句子，實際上也有可能幫助我們進行實體的表示學習。清華大學團隊構建出如下圖的模型：

這個模型的特點是說每一個實體一方面用knowledge graph去學習，它基于知識庫的表示，同時也會考慮，這些實體表示有沒有可能來自于文本里的每一個句子，利用這些句子構建出來的低維向量表示，形成來自文本的表示。它問題在于比如說一個實體，并不是在互聯網上出現的每一個句子都能夠很好的反映實體的語義信息，而我們希望能達到的效果是，如economics出現在三句話里（上上圖），根據這三句話能夠反映實體的語義信息的情況，給予不同的權重。所以（上圖中）特意給每一個不同的句子不同的權重，這個權重跟這個實體通過knowledge graph學習表示有密切的關系。 通過這種方式，有一個非常有意思的發現，就是可以利用modfiy graph ，為實體本身尋找在互聯網中更有代表性的描述，如下圖中的幾個詞

每個實體都找權重最高的句子，這些句子都能夠很好的反映實體的語義信息，這個方法未來有潛力在構建知識圖譜的時候能為新的實體自動尋找他們可能的比較好的，比較有代表性的description。 上面是介紹了幾個融合文本和知識進行關系抽取的方法。

總結

以上是生活随笔為你收集整理的自然语言系列学习之表示学习与知识获取（六）融合实体描述的知识表示和融合实体所在句子的知识表示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。