本文轉(zhuǎn)載自公眾號：徐阿衡。

---

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

• 論文：A simple neural network module for relational reasoning(2017)

• github代碼:?https://github.com/siddk/relation-network

這篇回顧下 DeepMind 2017 年發(fā)表的關(guān)系推理方面的工作，Relational Networks(RNs)。

關(guān)系推理的傳統(tǒng)方法有基于符號的方法（symbolic approaches）和基于統(tǒng)計的方法（statistical learning）。基于符號的方法存在著 symbol grounding 的問題，在小任務（small task）和輸入變化（input variations）的問題上也不夠魯棒，學習能力不強；而基于統(tǒng)計的方法像深度學習，雖然泛化能力強，但是對數(shù)據(jù)稀疏但關(guān)系復雜的問題也是束手無策。DeepMind 2017年出的這篇論文提出的Relation network(RN)，是用于關(guān)系推理（relational reasoning）的一個神經(jīng)網(wǎng)絡模塊（NN module），能直接加載到已有的神經(jīng)網(wǎng)絡架構(gòu)中。與 GNN 等網(wǎng)絡結(jié)構(gòu)相比，更為簡單和靈活，即插可用（plug-and-play），在一些關(guān)系推理的測試上的準確率已經(jīng)超過了人類。

Structure

RN 的網(wǎng)絡結(jié)構(gòu)是真的很簡單（不然也不會說是”simple neural network”），以至于通篇下面一個公式就可以概括，核心就是利用神經(jīng)網(wǎng)絡來找出任意 pairwise 對象之間的潛在關(guān)系。

• Inputs:??

• MLPs:??

• : 使用一個全連接的神經(jīng)網(wǎng)絡來量化 o_i?和 o_j?的關(guān)系，任意兩個對象之間的關(guān)系使用同一套參數(shù)

  : 考慮所有組合的關(guān)系，相當于考慮一個完全連接圖，在這個圖上計算各個邊的權(quán)重，把重要的關(guān)系凸顯出來，f 函數(shù)就計算了這個重要關(guān)系的集合

用在自然語言處理里，就是把每個句子當做一個對象，每個句子與句子的 pair 用 g 計算關(guān)系，再把所有關(guān)系加權(quán)和放到最終的預測網(wǎng)絡里。

小結(jié)一下，RNs有以下三個特點：

可以學習推理。這里 RNs 計算了所有的兩個對象之間的關(guān)系，當然也可以只計算部分兩個對象之間的關(guān)系，這里的“部分”需要預定義

數(shù)據(jù)效率更高(data efficient)。RNs 使用一個 gθ 函數(shù)來計算所有的關(guān)系，任意兩個對象之間的關(guān)系使用同一套參數(shù)，泛化能力更強

作用在一個集合上。對輸入和輸出都是與順序無關(guān)的（input/output invariation）

Tasks

簡單提一下和 NLP 有關(guān)的任務。

VQA

RN 在 VQA 任務上的結(jié)構(gòu)也很簡單，CNN 處理圖像，LSTM 編碼 question，然后兩兩配對的 spatial cell（紅藍；黃紅；藍黃…）和 question embedding 拼接，后面接幾個 FC 層，最后 softmax 得到某個 answer word。

Word-embedding: dim32; LSTM: dim128

: 4-layer MLP, dim256-256-256, RELU

: 3-layer MLP, dim256-256-29, RELU

: 綜合所有組合?，implicitly 提取有用的組合預測最終答案

bAbI

RN 在 bAbI 測試集上的結(jié)構(gòu)，每個問題之前的最多 20個句子作為 support set，使用 LSTM-dim32 把 support set 連同每個句子在 set 里的相對位置編碼轉(zhuǎn)化為 RN 的 object set，同時使用另一個 LSTM-dim32 的 encoding state 表示問題。

: 4-layer MLP, dim256-256-256-256

: 3-layer MLP, dim 256-512-159

在 joint training 也就是 20 個任務一起訓練一個 QA 模型的情況下，通過了 18/20 bAbI test。與 DNC 比較發(fā)現(xiàn)，DNC 在 path finding 任務上表現(xiàn)不錯，但在 basic induction 上誤差達到 55.1%，而 RN 達到了 2.1% 的誤差水平。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 基于神经网络的推理（DeepMind Relational Reasoning）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。