論文：Convolutional 2D Knowledge Graph Embeddings

1 介紹

1.1 提出原因

之前提出的模型如disMult，Trans系列模型，成為淺層模型，雖然比較簡單，參數較少、訓練模型速度較快，但是這些模型相比于深的模型，更少能夠抓到復雜的信息。因此，提出模型ConvE模型，利用卷積的方式進行知識圖譜補全，能夠適用于更加復雜的圖。

在淺層模型中增加特征數量的唯一方法，就是增加embedding的維度，但是隨之而來存在一個問題，不能擴展到更大的知識圖譜，因為嵌入參數的總數與圖中實體和關系的數量成正比。此外，以往的多層知識圖嵌入體系結構都是全連接的，容易出現過擬合問題。

1.2ConvE優勢

ConvE采取卷積的形式，由于高度優化的GPU實現，它的參數效率和計算速度快。由于其的普遍使用，在訓練多層卷積網絡時，已經建立了魯棒方法來控制過擬合。在本文中，我們引入了ConvE模型，該模型使用二維卷積在嵌入上預測知識圖中的缺失環節。ConvE是用于鏈接預測的最簡單的多層卷積體系結構:它由單個卷積層、嵌入維數的投影層和內積層定義。相比于GCN框架僅限于無向圖，而知識圖自然是有向的，并且可能受到限制的內存需求的影響。

1.3 貢獻

• 介紹了一個簡單的，有競爭力的2D卷積鏈路預測模型，ConvE。
• 開發一個1-N的評分程序，加速三倍的訓練和300倍的評估。
• 系統地研究了在常用的鏈接預測數據集中報告的逆關系測試集泄漏，在必要時引入數據集的魯棒版本，使其無法用簡單的基于規則的模型來解決。

2 模型

2.1 1D vs 2D Convolutions

1D Convolutions
([a a a] ; [b b b]) = [a a a b b b]
若采用filter， 其 size k = 3， 結果為維度$1\times 4$

2D Convolutions
$\left(\begin{array}{c}\left[\begin{array}{ccc}a& a& a\\ a& a& a\end{array}\right];\left[\begin{array}{ccc}b& b& b\\ b& b& b\end{array}\right]\end{array}\right)=?\begin{array}{ccc}a& a& a\\ a& a& a\\ b& b& b\\ b& b& b\end{array}?$
若采用filter， 其 size k = 3$\times 3$， 結果為維度$2\times 1$
二維卷積運算能夠模擬a和b之間更多的交互作用(與m, n, k成比例的動作)。因此，與一維卷積相比，二維卷積能夠提取兩個嵌入之間更多的特征交互作用

2.2 模型圖

模型講解：

• 頭實體和關系的one-hot編碼進行embedding，維度為k
• 將頭實體和關系的embeding 進行reshape,并拼接
• 進行卷積操作
• 全連接操作，映射維度為k
• 將全連接的結果乘以所有embedding結果，即實現1-N的評分方法，也就是說結果乘所有實體。

2.3 評分函數

其中${\mathbf{r}}_r\in {\mathbb{R}}_k,{\overline{e}}_s,{\overline{r}}_r分別代表e_s,r_r,2D進行reshape結果。e_s,r_r\in {\mathbb{R}}_k,{\overline{e}}_s,{\overline{r}}_r\in {\mathbb{R}}^{k_w\times k_h},其中k=k_w\times k_h$

2.4 損失函數

2.5 正則化

我們通過在幾個階段使用drop out來規范我們的模型，防止過擬合。 特別地，我們在嵌入、卷積后的feature map以及全連通層后的hidden units上使用了dropout。此外，我們BatchNorm進行歸一化，在卷積輸入之前，卷積輸入之后，
feature map之后進行BatchNorm歸一化。

3 代碼

論文原作代碼使用一個框架難以理解，找到替代的一個代碼。
參考代碼：點我
模型代碼

import torch import torch.nn as nn import torch.nn.functional as F from torch.nn import Parameter class ConvE(nn.Module):def __init__(self, config):super(ConvE, self).__init__()self.config = configself.ent_embs = nn.Embedding(self.config.ent_num, self.config.dim)self.rel_embs = nn.Embedding(self.config.rel_num, self.config.dim)self.input_drop = nn.Dropout(config.inputDrop)self.hide_drop = nn.Dropout(config.hideDrop)self.feature_drop = nn.Dropout2d(config.featureDrop)self.conv = nn.Conv2d(1, 32, (3, 3), bias=True)self.bn0 = nn.BatchNorm2d(1)self.bn1 = nn.BatchNorm2d(32)self.bn2 = nn.BatchNorm1d(config.dim)self.fc = nn.Linear(config.hide_size, config.dim)self.dim = config.dim #dim = 200self.dim1 = config.dim1 #dim1 = 20self.dim2 = self.dim // self.dim1 # dim2 = 10self.loss = nn.BCELoss()self.register_parameter('b',Parameter(torch.zeros(config.ent_num)))self.init()def init(self):nn.init.xavier_normal_(self.ent_embs.weight.data)nn.init.xavier_normal_(self.rel_embs.weight.data)def forward(self, e1, rel):e1_emb = self.ent_embs(e1).view(-1, 1, self.dim1, self.dim2)#el_emb; batch*1*20*10rel_emb = self.rel_embs(rel).view(-1, 1 ,self.dim1, self.dim2)conv_input = torch.cat([e1_emb, rel_emb], dim = 2)#con_input: bath*1*40*10conv_input = self.bn0(conv_input)x = self.input_drop(conv_input)x = self.conv(conv_input)x = self.bn1(x)x = F.relu(x)x = self.feature_drop(x)x = x.view(x.shape[0], -1)#bacth*hide_size(38*8*32 = 9728)x = self.fc(x)x = self.hide_drop(x)x = self.bn2(x)x = F.relu(x)#batch*dim ent_ems.weight dim*ent_num#print(x.shape, self.ent_embs.weight.shape)x = torch.mm(x, self.ent_embs.weight.transpose(1, 0))x += self.b.expand_as(x)pred = torch.sigmoid(x)return pred

總結

以上是生活随笔為你收集整理的ConvE：Convolutional 2D Knowledge Graph Embeddings的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。