知識圖譜——TransE模型原理

1 TransE模型介紹

1.1 TransE模型引入

在我們之前的文章中，提到了知識圖譜補全任務的前提任務是知識表示學習，在知識表示學習中，最為經典的模型就是TransE模型，TransE模型的核心作用就是將知識圖譜中的三元組翻譯成embedding向量。

1.2 TransE模型思想

為了后面便于表示，我們先設定一些符號

h 表示知識圖譜中的頭實體的向量。

t 表示知識圖譜中的尾實體的向量。

r 表示知識圖譜中的關系的向量。

在TransE模型中，有這樣一個假設：
$$t=h+r$$
也就是說，正常情況下的尾實體向量=頭實體向量+關系向量。用圖的方式描述如下：

如果一個三元組不滿足上述的的關系，我們就可以認為這是一個錯誤的三元組。

1.3 TransE模型的目標函數

首先，我們先來介紹兩個數學概念：

L1范數

也稱為曼哈頓距離，對于一個向量X而言，其L1范數的計算公式為：
$$||X|{|}_{L1}=\sum _{i=1}^n|x_i|$$
其中，$x_i$表示向量X的第i個屬性值，這里我們取的是絕對值。并且，使用L1范數可以衡量兩個向量之間的差異性，也就是兩個向量的距離。
$$Distanc{e}_{L1}(X_1,X_2)=\sum _{i=1}^n|X_{1i}?X_{2i}|$$

L2范數

也稱為歐式距離，對于一個向量X而言，其L2范數的計算公式為：
$$||X|{|}_{L2}=\sqrt{\sum _{i=1}^n{X}_i^2}$$
同樣，L2范數也可以用來衡量兩個向量之間的差距:
$$Distanc{e}_{L2}(X_1,X_2)=\sum _{i=1}^n(X_{1i}?X_{2i}{)}^2$$

根據我們上面介紹的Trans中的假設，我們可以知道，對于一個三元組而言，頭實體向量和關系向量之和與尾實體向量越接近，那么說明該三元組越接近一個正確的三元組，差距越大，那么說明這個三元組越不正常。那么我們可以選擇L1或者L2范數來衡量三個向量的差距。而我們的目標就是使得爭取的三元組的距離越小越好，錯誤的三元組距離越大越好，也就是其相反數越小越好。數學化的表示就是：
$$min\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })\in G^{\prime }}[\gamma +distance(h+r,t)?distance(h^{\prime }+r^{\prime },t^{\prime }){]}_{+}$$

其中：

$(h,r,t)$：表示正確的三元組
$(h^{\prime },r^{\prime },t^{\prime })$： 表示錯誤的三三元組
$\gamma$ ：表示正樣本和負樣本之間的間距，一個常數
$[x{]}_{+}$：表示max(0,x)

我們來簡單的解釋以下目標函數，我們的目標是讓正例的距離最小，也就是$min(distance(h+r,t))$，讓負例的相反數最小也就是$(min(?distance(h^{\prime }+r^{\prime },t^{\prime })))$，對于每一個正樣本和負樣本求和，再增加一個常數的間距，就是整體距離的最小值。也就是我們的目標函數。

1.4 目標函數的數學推導

這里，我們采用歐氏距離作為distance函數，則目標函數可以改寫為：
$$min\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })\in G^{\prime }}[\gamma +(h+r?t{)}^2?(h^{\prime }+r^{\prime }?t^{\prime }{)}^2{]}_{+}$$
則對于損失函數loss就有：
$$Loss=\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })\in G^{\prime }}[\gamma +(h+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2{]}_{+}$$
在損失函數中，我們知道所有的參數包括{$h,r,t,h^{\prime },r,t^{\prime }$}。下面，我們來逐個進行梯度推導：

首先是對h的梯度，對于某一個$h_i$而言
$$\frac{?Loss}{?h_i}=\sum _{(h_{,}r,t)\in G}\sum _{(h^{\prime },r,t^{\prime })\in G^{\prime }}\frac{?[\gamma +(h+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2{]}_{+}}{?h_i}$$
在整個求和的過程中，只針對包含$h_i$的項求導：
$$\frac{?[\gamma +(h_i+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2{]}_{+}}{?h_i}$$
有：
$$\frac{?[\gamma +(h_i+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2{]}_{+}}{?h_i}=\{\begin{array}{llc}2(h_i+r?t)& & \gamma +(h+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2>0\\ 0& & \gamma +(h+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2<=0\end{array}$$
則原式變為：
$$\frac{?Loss}{?h_i}=\sum _{(h_i,r,t)\in G}\sum _{(h^{\prime },r,t^{\prime })\in G^{\prime }}\{\begin{array}{llc}2(h_i+r?t)& & \gamma +(h_i+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2>0\\ 0& & \gamma +(h_i+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2<=0\end{array}$$
同理對于$t_i,h_i^{\prime },t_i^{\prime }$有：
$$\frac{?Loss}{?t_i}=\sum _{(h,r,t_i)\in G}\sum _{(h^{\prime },r,t^{\prime })\in G^{\prime }}\{\begin{array}{llc}?2(h+r?t_i)& & \gamma +(h+r?t_i{)}^2?(h^{\prime }+r?t^{\prime }{)}^2>0\\ 0& & \gamma +(h+r?t_i{)}^2?(h^{\prime }+r?t^{\prime }{)}^2<=0\end{array}$$
$$\frac{?Loss}{?h_i^{\prime }}=\sum _{(h,r,t)\in G}\sum _{(h_i^{\prime },r,t^{\prime })\in G^{\prime }}\{\begin{array}{llc}?2(h^{\prime }+r?t^{\prime })& & \gamma +(h+r?t{)}^2?(h_i^{\prime }+r?t^{\prime }{)}^2>0\\ 0& & \gamma +(h+r?t{)}^2?(h_i^{\prime }+r?t^{\prime }{)}^2<=0\end{array}$$
$$\frac{?Loss}{?t_i^{\prime }}=\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r,t_i^{\prime })\in G^{\prime }}\{\begin{array}{llc}2(h^{\prime }+r?t^{\prime })& & \gamma +(h+r?t{)}^2?(h^{\prime }+r?t_i^{\prime }{)}^2>0\\ 0& & \gamma +(h+r?t{)}^2?(h^{\prime }+r?t_i^{\prime }{)}^2<=0\end{array}$$
最后對于$r_i$，γ有：
$$\frac{?Loss}{?r_i}=\sum _{(h,r_i,t)\in G}\sum _{(h^{\prime },r_i,t^{\prime })\in G^{\prime }}\{\begin{array}{llc}2(h+r_i?t)?2(h^{\prime }+r_i?t^{\prime })& & \gamma +(h+r_i?t{)}^2?(h^{\prime }+r_i?t^{\prime }{)}^2>0\\ 0& & \gamma +(h+r_i?t{)}^2?(h^{\prime }+r_i?t^{\prime }{)}^2<=0\end{array}$$
$$\frac{?Loss}{?\gamma }=\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })\in G^{\prime }}\{\begin{array}{llc}1& & \gamma +(h+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2>0\\ 0& & \gamma +(h+r?t{)}^2?(h^{\prime }+r?t^{\prime }{)}^2<=0\end{array}$$

1.5 如何產生負樣本

在我們之前算法描述中，我們提到了負樣本的問題，對于一個知識圖譜而言，其中保存的全部都是正樣本時肯定的了。那么，我們應該如何獲取負樣本呢？

具體的可以通過隨機替換頭實體的方式來實現一個錯誤的三元組，或者采用隨機替換一個錯誤的尾實體的方式來形成一個錯誤的三元組。

同時，為了避免，我們在替換形成的三元組也存在于知識圖譜中，我們需要在替換之后進行過濾。

2 參考文章

TransE如何進行向量更新？

TransE算法詳解

總結

以上是生活随笔為你收集整理的知识图谱——TransE模型原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。