論文筆記整理：邱圣廣，南京大學碩士，研究方向為自然語言處理。

---

鏈接：https://www.ijcai.org/proceedings/2018/0584.pdf

?

緒論

1.? 腳本事件預測

腳本事件預測這個任務最早是由Chambers andJurafsky于2008年提出來的，要求給定一個事件的上下文 (context)，需要從候選列表中選出接下來最可能要發生的事件，如下圖所示：

這是在餐館場景下發生的一系列事件，根據已經發生的事件，5個候選事件中下一個最可能發生的事件就是離開餐館(leave)。

2.? 亮點

現有的關于腳本事件預測的方法主要是基于事件對和事件鏈的，但是會存在以下缺陷，如下圖所示：

給定上下文：enter,order,serve，現在要從talk和eat這兩個候選事件中選出下一個最可能發生的事件。在基于事件對和事件鏈的方法中，如（b）所示，在訓練的時候，會發現（serve,talk）一起出現的頻率要高于（serve,eat），因此在預測的時候選擇talk的概率會更高；而在基于事件圖結構（即事理圖譜）的方法中，如（c）所示，（order，serve，eat）構成了一個強聯通分量，這暗示了eat更可能是正確答案。

3.? 論文貢獻

（1）?第一個在腳本事件預測這個任務上提出基于圖結構的方法

（2）?提出一個大規模圖神經網絡（Scaled Graph Neural Network），從而可以對大規模稠密有向圖中的事件關系進行建模，進而學習出更好的事件表示。

模型

1.? 事理圖譜（NEEG）的構建

（1）? 從語料庫中抽取事件鏈

從語料庫中抽出所有事件鏈：, 其中?表示一個事件鏈 ,? e_i 表示事件，采用四元組的形式表示，其中 p 表示謂語動詞, a0, a1,a2 分別表示謂語動詞的主語、直接賓語、間接賓語； T 則是被這個事件鏈中所有事件共享的主人公。下面是一個事件鏈的例子：s_i = {T=customer, walk{T,restaurant,-}, seat(T,-,-), read(T,menu,-), order(T,food,-),serve(waiter,food,T),eat(T,food,fork)}。

（2）? 根據事件鏈構建圖譜

? 根據抽出的事件鏈，事理圖譜就可以形式化定義成一個圖結構，其中中每個節點代表事件，?中每條邊表示事件之間的關系。

?????????為了解決稀疏問題，在圖譜中每個事件都采用一種叫做謂詞語法（predicate-GR）的形式 (v_i, r_i) 來表示，其中 v_i 表示為謂語動詞，r_i 表示謂語動詞與鏈實體之間的語法依賴關系，如 eat(T,food,fork) 用 predicate-GR 表示就是 (eat,subj)。

?????????然后每條有向邊的權重就可以通過以下公式計算得到：

2.? 大規模圖神經網絡（SGNN）

SGNN在GGNN的基礎上進行改進，在訓練階段借鑒了分治的思想，只將當前所需子圖作為訓練樣本，從而克服了GGNN不能處理大規模圖的缺陷。整個模型的框架圖如下所示：

其中（a）為部分事理圖譜，（b）為本次訓練所需子圖，（c）為網絡結構圖，分為三部分：表示層、GGNN、相關性計算。下面將對這三部分進行介紹：

?????????表示層

將輸入的事件轉成向量表示（即初始化），給定一個事件，分別獲得謂語動詞以及參數的word embedding，即，文中采用三種不同的方法獲取事件 e_i 的表示：

?????????GGNN

GGNN用于更新事件表示，GGNN的輸入為兩個矩陣：初始隱藏層,? 鄰接矩陣 ，n, k 分別表示上下文事件、候選事件的個數，其中：

然后通過各種門不斷地進行更新、計算，最終得到所有事件的最終表示h^t

?????????相關性計算

獲取最終表示?后，就可以計算context和候選事件之間的相關性：

其中 g 表示相似度計算函數，常用的有以下幾種：

然后給定上下文: e_1, e_2,...e_n，候選事件發生的可能性為：

選擇可能性最大的候選事件。

?????????Attention機制

考慮到不同context在選擇候選事件的時候占有的比重應該不同，所以作者加了一個attention機制，用來計算每個context對每個候選事件的權重，最后得到新的相似度計算函數：

?????????目標函數

其中? 表示第 I 個 context 和第 j 個候選事件之間的相似度，y 表示正確答案的下標，margin表示的是Margin loss參數，?θ 表示模型參數。

實驗

1.?數據集

數據集采用的是Gigaword語料庫中的NYT部分，其統計情況如下：

2.?實驗結果

作者與很多baseline進行了比較，實驗結果表明：

（1）?基于神經網絡的模型要比傳統統計學習的模型要好。

（2）?基于事件圖結構的模型要優于基于事件對或事件鏈的模型。

（3）?加了attention能夠提高實驗效果，說明不同context在選擇時所占權重是不同的。

（4）?作者將自己的模型與baseline方法進行了結合，實驗效果有不同程度的改變。

3.?比較性實驗

作者還在驗證集上進行了比較性的實驗，從實驗結果可以看到，采用連接方式獲取事件表示，以及采用歐拉距離作為相似函數的時候，模型效果最好。

結論

本文提出了一種基于事理圖譜的腳本事件預測方法，通過引入一個大規模圖神經網絡，用來對事件關系進行建模并學習事件表示。通過實驗結果表明，基于事件圖結構的方法要比基于事件對、事件鏈的方法好。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 基于事理图谱的脚本事件预测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。