論文筆記整理：譚亦鳴，東南大學博士生，研究方向為知識庫問答。

---

來源：arXiv (short version accepted at ICLR 2019Workshop on Representation Learning on Graphs and Manifolds)

鏈接：https://arxiv.org/abs/1904.05530

?

本文提出了一種建模時序、多關(guān)系、圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)方法，稱為循環(huán)事件網(wǎng)絡(luò)(RE-NET），該模型由RNN事件序列編碼器和近鄰聚合模型組成。其中，近鄰聚合模型將每一時刻主實體通過關(guān)系連接的鄰居（一跳或兩跳）進行信息聚合，與主實體（Subject）、關(guān)系（Relation）的向量表示一同作為RNN的輸入，從而實現(xiàn)數(shù)據(jù)建模，用于預測某時刻主體事件s在關(guān)系r上對應(yīng)的客體事件o，（假定圖譜四元組表示為(s, r, o, t)，任務(wù)目標是預測(s, r, ?, t)或(?, r, o, t)中的？）。

?

思路

本文方法的關(guān)鍵思路包括：

1. 時序圖譜可以被看作具有多個相互關(guān)系的序列；

2. 實體間的多個相互關(guān)系可能發(fā)生在同一時刻；

3. 時序鄰居關(guān)系之間存在強依賴；

4. 多關(guān)系情況下，當前鄰居可以幫助預測未來（實體之間的）相互關(guān)系。

?

?

方法

框架描述

圖1（左）描述事件圖形式構(gòu)成為：(Subject，Relation，Object，Time)，其中Subject與Object為事件的主客體，Relation則代表事件本身，事件具有時間信息；

圖1（右）是事件圖embedding和Object事件預測的流程框架，該模型的整體框架由事件序列編碼器（event sequence encoder）與近鄰聚合模型（neighborhood aggregation module）構(gòu)成。

對于某一主體實體e_s，假定我們需要推斷它在t時刻的事件客體是什么，過程描述如下：

1.????對于歷史時刻(圖中為t-1, t-2, t-3)，將各時刻e_s包含的鄰居實體聚合為x，與e_s及關(guān)系e_r一起作為RNN的輸入

2.????將RNN末端（即時間t）得到的隱狀態(tài)取出，與e_s和關(guān)系e_r融合給出t時刻e和e_r對應(yīng)的客體o的概率分布

3.????完成t時刻客體o的預測

?

事件序列編碼器（event sequence encoder）

RE-NET的目標是表示時序圖譜，假定表示t時刻發(fā)生的事件集合，當我們要預測這個集合時，顯然需要將t時刻之前的歷史信息作為參照，得到一個條件概率表示，那么我們要預測的客體o則可以通過以下式子得到：

且可以改寫為：

由此可以得到事件序列編碼函數(shù)形如:

函數(shù)f的參數(shù)作為RNN編碼器的輸入。

?

近鄰聚合模型（neighborhood aggregation module）

作者列舉了四種可選近鄰聚合策略：

Mean Aggregator取與主體s相關(guān)的客體o的平均作為聚合結(jié)果，并不考慮不同的o具有的重要性；

Attentive Aggregator對于主客體之間添加注意力，反映其之間的相關(guān)程度

Pooling Aggregator對主體和鄰居之間做卷積，可表示為：

RGCN Aggregator使用多層神經(jīng)網(wǎng)絡(luò)進行鄰居聚合，考慮兩跳鄰居，公式形如：

下圖是對兩跳鄰居聚合的示意圖：

?

實驗

數(shù)據(jù)集

本文實驗使用到了四個數(shù)據(jù)集：包含兩個基于事件的時序知識圖譜（Integrated Crisis Early Warning System (ICEWS18)，Global Database of Events, Language, and Tone(GDELT)）及兩個包含時序信息的知識圖譜（WIKI, YAGO）

每個數(shù)據(jù)集依據(jù)時間戳，均被劃分為80%訓練集，10%驗證集，10%測試集；即訓練集的時序排在驗證集之前，驗證集在測試集之前。

評價策略使用了Mean Reciprocal Ranks和Hits@1/3/10兩種

?

實驗結(jié)果

??? 本文參照的Baseline被分為統(tǒng)計方法（TransE, DisMult，ComplEx, R-GCN, ConvE）和時序推理方法（Know-Evolve, TA-TransE/DistMult,HyTE, TTransE）

?

實驗結(jié)果如下表所示：

?

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 面向时序知识图谱推理的循环事件网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。