作者丨張云喆

單位丨暗物智能科技

研究方向丨NLP推理、數學符號推理

研究背景

現實生活中很多的數據可以用圖（graph）來建模，比如社交網絡數據，paper 引用數據等。對于 AI 而言，一個常見的任務是半監督分類，即對圖中的每一個點進行分類，在僅有部分點有標注的情況下。

處理理此類問題，比較經典的方法是?GCN?[1]，通過對相鄰節點的特征聚合操作來對每個節點進行特征提取。GCN 等 GNN 模型對于節點之間的關系表征是二元的，即僅能表征兩個節點 <e1,e2> 之間的關系，對于大于二元的關系組只能通過多個二元關系的方式去近似。

超圖模型（Hypergraph）就是針對這種情況提出的一種網絡結構?[2]。如圖 1 所示，不同類型的數據中都存在著多元關系，超圖模型的基本設定就是一個邊可以包含大于 2 個點，去擬合多元關系。

▲?圖1. 不同類型數據中的關系展示

然而超圖模型和圖模型存在著一樣的問題，即大部分模型中節點之間的關系來自于數據本身的屬性，是一種靜態的關系。這樣會導致模型忽視很多不包含在這些靜態關系中的隱含關系。為此，本文提出了一種基于超圖模型的網絡進化算法，通過圖卷積提取的特征來進一步挖掘新的關系，示意圖如圖 2 所示。在圖網絡的進化過程中，可以丟棄一些不重要的關系同時挖掘新的關系。

▲?圖2. 超圖網絡進化示意圖

算法過程

▲?圖3. 算法流程示意圖

整個算法流程分為三個部分，首先通過節點之間的關系對 hypergraph 進行構建，然后對提取出的 hypergraph 進行卷積操作提取特征，最后根據新的提取特征構建新的 hypergraph。三個流程加在一起就表示了一次圖網絡的進化，這種進化操作可以被疊加多次，使得節點之間的關系可以被多次調整。?

Hypergraph?Construction

根據節點特征構建 hypergraph 的流程如下：

構建過程結合了 KNN 和 Kmeans 的方法。我們首先要清楚 hypergraph 的表示通常采用鄰接矩陣的形式，矩陣大小為 | V | * | E |，分別表示節點的數量和邊的數量，其中有關系的節點和邊 h(v, e) = 1, 其余的 h(v, e) = 0。

首先算法針對每一個節點，采用 knn 的方法找到和該節點最相似的 n 個節點，形成一個 hyperedge，我們就得到了 |V| 個 hyperedge。然后我們在利用 kmeans 方法在節點中圈出 K 個中心點，對于每?一個節點，我們將它歸屬到最近的 S 個中心點，這樣我們又得到了 K 個新的 hyperedge。?

Hypergraph Convolution

▲?圖4. vertex convolution module
▲?圖5. hyperedge convolution module

節點卷積時通過構建一個 k * k 的 transform matrix，來將節點的特征維度壓縮到 k 維大小。通過 transform matrix 和節點特征的相乘來對同一個 hyperedge 內節點的相互關系進行建模和表示。最后經過一個卷積操作進行維度的壓縮，得到和包含這些節點的邊的特征。邊（hyperedge）的卷積操作為對于每一個節點所關聯的邊集合中，通過上一步得到的每一條邊的特征，首先通過 MLP 計算自己的權重，然后再根據得到的權重進行相加得到每個節點的特征。?

實驗結果

算法在兩個數據上做的評測。?

Cora 數據集，含有 2708 個節點和 5429 個邊的關系，每個節點代表一篇學術文章，關系表示文章之間的相互引用，這是一個帶有天然 hypergraph 結構的數據集。微博數據集，含有 5550 條推文， 推文包含文字以及圖片，其中 4196 條為正向情感，1345 條為負向情感。

▲?圖6. cora數據集實驗結果

▲?圖7. ablation study of different modules

Cora 數據集的任務為半監督節點分類，一共有 7 個類別。文章 follow 了之前 SOTA 結果的實驗設定，分別測試在不同 label 覆蓋率下的節點分類準確率，可以看出算法對比其他方法有提升，并且在 label 覆蓋比較低的時候提升比較明顯。同時作者在該數據上做了 ablation study，通過移除 hypergraph 構建方式以及 graph evolve 的過程，實驗結果都有些下降。

▲?圖8. 微博數據集實驗結果

微博數據集是一個完全沒有初始關系網絡的數據集，因此算法可以測試通過特征相似度挖掘的關系是否行之有效。同時實驗還比較了不同方法的訓練時間，在這個任務上該方法超過了之前的一系列 SOTA 結果。?

結論和分析

本文基于超圖網絡模型（hypergraph），構建了一種通過節點特征相似度來讓圖網絡自我進化的算法。優勢在于通過不斷的迭代和挖掘可以構建初始狀態不包含的關系屬性，對于挖掘隱含的關系是一種比較有效的方法。這個方法給我們帶來了一定的啟發，同時我認為有幾點方向值得繼續探索：

• 實驗中對于兩個數據集，模型參數設定的 layer 都設定為 2 層，推測 layer 疊加過多可能會帶來訓練困難等問題，可能是一個值得思考和優化的地方。

• 利用 kmeans 和 knn 來構建 graph 的關系可能比較簡單和易于實現，可以探索更高級的構建 graph 的方式，并且對 graph 的結構進行一些弱監督。?

• GNN 以及 hypergraph 網絡模型目前重點的實驗任務在于節點分類，關系的構建等，可以考慮利用 hypergraph 結構去輔助 NLP 任務做知識的推理。?

點擊以下標題查看更多往期內容：?

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的IJCAI 2019 论文解读 | 基于超图网络模型的图网络进化算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。