论文浅尝 | GMNN: Graph Markov Neural Networks
論文筆記整理：吳銳，東南大學碩士研究生，研究方向為自然語言處理
?
? ? ?
來源：ICML 2019
鏈接：http://proceedings.mlr.press/v97/qu19a/qu19a.pdf
?
問題定義
弱監督下的在關系數據中的對象分類。形式化地來說，給定一個圖G，圖上有結點V表示一系列對象，在對象間存在有一系列邊E，且每個結點都有對應的屬性XV。當前已知部分結點L的標簽，目的是推測出剩余結點U的標簽值。
? ? ? ? ? ? ?
?
相關工作
該問題當前主要可以從兩個方向進行研究：
1）統計關系學習（SRL, Statistical Relational Learning）
以統計模型來對關系數據進行建模，代表性的方法有條件馬爾可夫網絡（relational Markov networks）和馬爾可夫邏輯網（Markov logic networks）。這些方法通常使用條件隨機場來對對象之間的依賴關系進行建模，也正是因為這種建模的有效性，這些方法能夠在弱監督的對象分類上取得不錯的效果。
2）圖神經網絡（GNN, Graph Neural Network）
通過非線性的神經結構，能夠以端到端的方式學習到有效的對象表示（representation），從而解決對象分類的問題。例如圖卷積網絡（graph convolutional networks）可以有效地將周圍結點的信息學習到結點的表示當中。這類方法由于能夠有效地從關系數據中學習到對象的表示，目前已經達到了SOTA的表現。
?
存在的問題
在傳統的統計關系學習方法中，存在著以下缺陷：
1) 由于這些方法通常采用CRF進行建模，因此需要手動地構造一些特征函數來作為勢函數的組成部分，而這些特征函數往往是啟發式的，從而導致了模型的能力有限；
2) 由于對象之間關系結構的復雜性，導致難以推理（inference）出未知標簽的結點U的后驗分布（posterior distribution）。
在圖神經網絡的方法中，由于各個結點的標簽是根據相關的表示分別預測的，因此忽略了各個結點的標簽之間的依賴性
?
方法
提出圖馬爾可夫神經網絡（GMNN, Graph Markov Neural Network），結合了SRL與GNN的優點，既能夠學習到有效的結點表示，也能夠對結點標簽之間的依賴進行建模。
? ? ? ? ? ? ?
具體來說，GMNN仍然以CRF對已知結點標簽之間的聯合條件概率分布（以所有結點的屬性為條件）進行建模。
? ? ? ? ? ? ?
該模型可以有效且高效地通過變分EM框架進行優化，在推斷（E步）與學習（M步）中不斷交替、迭代。
? ? ? ? ? ? ?
在E步中，由于具體的后驗分布是難以計算的，因此引入了平均場近似（mean-field approximation）。
? ? ? ? ? ? ?
受攤還推斷（amortized inference）的啟發，同樣使用一個GNN來參數化結點標簽的后驗分布，該GNN能夠學習到有利于標簽預測的結點的表示。
? ? ? ? ? ? ?
目標函數如下：
? ? ? ? ? ? ?
? ? ? ? ? ? ?
? ? ? ? ? ? ?
可以理解用變分的方法，不斷減小q與真實的后驗分布之間的KL散度，使得q不斷逼近真實的后驗分布（式11），同時由于部分已知標簽的存在，因此該部分結點標簽的概率分布直接使用真實值即可（式12）。
E步的形式化過程如下圖：
? ? ? ? ? ? ?
?
?
在M步中，由于直接優化似然函數存在困難，因此以優化偽似然（pseudolikelihood）的方式來代替極大似然方法。
? ? ? ? ? ? ?
用一個GNN來參數化局部的結點標簽的條件概率分布。
? ? ? ? ? ? ?
這樣就能夠對結點標簽之間的依賴性進行建模，并且不需要手動構建勢函數。目標函數如下：
? ? ? ? ? ? ?
M步的形式化過程如下圖：
? ? ? ? ? ? ?
?
具體的優化算法如下：
? ? ? ? ? ? ?
?
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | GMNN: Graph Markov Neural Networks的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝 | 将结构预测作为增广自然语言
- 下一篇： 论文浅尝 - AAAI2020 | 多轮