作者丨竇洪健

學校丨中國人民大學在讀碩士

研究方向丨推薦系統(tǒng)、文本生成

本文經(jīng)授權(quán)轉(zhuǎn)載自知乎專欄「RUC AI Box」。

前言

知識圖譜主要的目標是用來描述真實世界中間存在的各種實體和概念，以及它們之間的關(guān)聯(lián)關(guān)系。知識圖譜常被應(yīng)用于以下幾個方面：（1）搜索（2）聊天機器人和問答系統(tǒng)。近年來一部分學者嘗試將知識圖譜引入到推薦系統(tǒng)中，并且取得了不錯的結(jié)果。本文選擇了八篇知識圖譜向量表示的論文進行介紹。

Translating embeddings for modeling multi-relational data

Bordes A, Usunier N, Weston J, et al. NIPS. 2013.

寫作動機

之前像 single layer model 以及 NTN 等傳統(tǒng)方法，存在著訓練復(fù)雜和不易拓展等問題。本文提出了一種將實體與關(guān)系嵌入到低維向量空間中的簡單模型 TransE。該模型已經(jīng)成為了知識圖譜向量化表示的 baseline，并衍生出不同的變體。

模型

△ 目標函數(shù)

△ 算法流程

正如目標函數(shù)所述，算法核心是令正例的 h+r-l 趨近于 0，而負例的 h+r-l 趨近于無窮大，這里的 d 表示 L1 或 L2 范式， \gamma 表示邊際距離。整個 TransE 模型的訓練過程比較簡單，首先對頭尾節(jié)點以及關(guān)系進行初始化，然后每對一個正例取一個負例樣本（本文負例選取方式為固定中間的 relation，頭尾節(jié)點任意替換一個），然后利用 hinge loss function 盡可能使正例和負例分開，最后采用 SGD 方法更新參數(shù)。

Knowledge Graph Embedding by Translating on Hyperplanes

Wang Z, Zhang J, Feng J, et al. AAAI. 2014.

寫作動機

雖然 TransE 模型具有訓練速度快、易于實現(xiàn)等優(yōu)點，但是它不能夠解決多對一和一對多關(guān)系的問題。以多對一關(guān)系為例，固定 r 和 t，TransE 模型為了滿足三角閉包關(guān)系，訓練出來的頭節(jié)點的向量會很相似。而本文提出一種將頭尾節(jié)點映射到關(guān)系平面的 TransH 模型，能夠很好地解決這一問題。

以下圖為例，對于多對一關(guān)系，TransH 不在嚴格要求 h+r-l=0，而是只需要保證頭結(jié)點和尾節(jié)點在關(guān)系平面上的投影在一條直線上即可，因此能夠得到圖中頭結(jié)點向量（紅線）正確的表示。

模型

本文的模型其實比較簡單，首先通過上述公式 1 分別將 head 和 tail 節(jié)點映射到關(guān)系 r 所對應(yīng)的平面，之后整個訓練方式同 TransE 一致。雖然 TransH 比 TransE 增加了一步向量轉(zhuǎn)換，但其實整體參數(shù)只增加了 wr 一項，整體的算法效率還是很高的。?

此外，不同于 TransE 模型隨機替換 head 和 tail 節(jié)點作為負例的方法，本文分別賦給頭結(jié)點和尾節(jié)點一個采樣概率，具體計算公式計算如下：

即對于多對一的關(guān)系，替換尾節(jié)點，對于一對多的關(guān)系，替換頭節(jié)點。

Learning Entity and Relation Embeddings for Knowledge Graph Completion

Lin Y, Liu Z, Zhu X, et al. AAAI. 2015.

寫作動機

TransE 和 TransH 都假設(shè)實體和關(guān)系嵌入在相同的空間中。然而，一個實體是多種屬性的綜合體，不同關(guān)系對應(yīng)實體的不同屬性，即頭尾節(jié)點和關(guān)系可能不在一個向量空間中。為了解決這個問題，本文提出了一種新的方法 TransR。

模型

TransR 的基本思想如上圖所示。對于每個元組（h，r，t），首先將實體空間內(nèi)的實體通過 Mr 矩陣投影到關(guān)系 r 所在的空間內(nèi)，得到 hr 和 tr ，然后使 hr+t≈tr。特定的關(guān)系投影（彩色的圓圈表示）能夠使得頭/尾實體在這個關(guān)系下靠近彼此，使得不具有此關(guān)系（彩色的三角形表示）的實體彼此遠離。?

此外，僅僅通過單個的關(guān)系向量還不足以建立從頭實體到尾實體的所有轉(zhuǎn)移，即對于同一條關(guān)系 r 來講，r 具有多種語義上的表示。本文提出對不同的頭尾實體進行聚類和并且學習到關(guān)系在不同聚類簇的表示。作者這里首先利用 TransE 預(yù)訓練（h，r，t）三元組，并且對 t-h（也就是關(guān)系 r）進行聚類，這樣對于關(guān)系 r 來講，頭尾節(jié)點會被分到相應(yīng)的簇中，并且利用下面的公式進行訓練，該方法也被稱為 CTransR。

Learning Entity and Relation Embeddings for Knowledge Graph Completion

Lin Y, Liu Z, Zhu X, et al. AAAI. 2015.

寫作動機

之前的 TransE、TransH 和 TransR 都認為每種關(guān)系只對應(yīng)一種語義表示，而在實際情況中，關(guān)系r可能代表不同的含義。如下圖所示，對于關(guān)系 location 來講，它既可以表示山脈-國家之間的關(guān)系，又可以表示為地區(qū)-國家之間的關(guān)系，因此本文提出一種基于動態(tài)矩陣的 TransD 模型來解決這一問題。

模型

TransD 模型同 CTransR 模型一樣，都是為了解決關(guān)系的多種語義表示。相比較 CTransR 采用聚類的方式，TransD 提出一種動態(tài)變化矩陣的方法。具體公式如下圖所示：

對于（h'，r'，t'）兩個實體和一種關(guān)系來講，它們分別有兩種表示，一種是構(gòu)建映射矩陣的表示（hp，rp，tp），另外一種是自身的語義表示（h，r，t）。h 和 t 的動態(tài)轉(zhuǎn)移矩陣分別由其自身的映射矩陣和關(guān)系r的映射矩陣所決定，而不是像 TransR 一樣映射矩陣只和關(guān)系 r 相關(guān)。?

此外，該模型的一個亮點在于它將 TransR 的矩陣運算轉(zhuǎn)換成了向量間的運算，運算速度會大幅提升，具體公式如下：?

TransA: An Adaptive Approach for Knowledge Graph Embedding

Xiao H, Huang M, Hao Y, et al. Computer Science. 2015.

寫作動機

TransE 從根本上講是一種歐式距離的計算，其圖形對應(yīng)的是一個圓，從下圖可知藍色部分為正例，紅色部分為負例，TransE 模型劃分錯了七個點。而本文提出了一種基于馬氏距離的 TransA 模型，其 PCA 降維圖形對應(yīng)的是一個橢圓，該模型只分錯了三個點。

此外，之前的方法將等價對待向量中的每一維，但實際上各個維度的重要性是不同的，只有一些維度是有效的，而某些維度被認為是噪音，會降低效果。

如下圖 2 所示，對于關(guān)系 haspart 而言，TransE 模型根據(jù)歐氏距離計算方法生成了像 Room-has-Goniff 這樣的三元組，而正確的結(jié)果卻是 Room-has-Wall。我們對 x，y 軸進行分解，發(fā)現(xiàn) Room 在 x 軸上距離 Wall 更為相近，因此我們可以認為該圖在 x 軸維度上更加重要。TransA 模型通過引入加權(quán)矩陣，賦給每一維度權(quán)重。

模型

其實 TransA 模型總體來看比較簡單，相比較 TransE 模型，本文引入了 Wr 矩陣為不同維度的向量進行加權(quán)，并利用 LDL 方法對 Wr 進行分解，Dr 是一個對角陣，對角線上的元素表示不同維度上的權(quán)重。本篇文章的一個亮點在于通過圖像來描述不同的損失度量函數(shù)，給人直觀的感覺。

TransG: A Generative Mixture Model for Knowledge Graph Embedding

Xiao H, Huang M, Zhu X. TransG. ACL. 2016.

寫作動機

本文提出的 TransG 模型同 CTransR、TransD 一致，都是為了解決關(guān)系的多種語義表達問題。作者首先做了一個比較有意思的實驗，首先對預(yù)訓練好的 t-h 進行聚類（也就是關(guān)系 r），發(fā)現(xiàn)對于每種關(guān)系 r 來講，會得到不同的簇。從現(xiàn)實意義來看也不難理解，對于關(guān)系 Country，我們可以聚類得到美國、歐洲和其他國家這三個簇，表示電影所屬的不同國家。

模型

TransG 利用貝葉斯非參數(shù)混合模型對一個關(guān)系生成多個表示，其實 TransG 的本質(zhì)同 CTransR 一致，都是利用聚類方法生成 r 的不同種表示。不同點在于 CTransR 利用預(yù)訓練的 TransE 向量進行聚類，而 TransG 采用邊訓練邊聚類的方法。具體公式如下：

M 表示聚類的數(shù)目，πr,m 表示關(guān)系 r 的第 m 中表示的權(quán)重。

Knowledge Graph Completion with Adaptive Sparse Transfer Matrix

Ji G, Liu K, He S, et al. AAAI. 2016.

寫作動機

Knowledge Graph 中面臨的兩個主要問題，分別是 heterogeneous（異構(gòu)性）和 unbalanced（不平衡性）。

異構(gòu)性表示知識圖譜中關(guān)系所連接的節(jié)點數(shù)目差異較大，不平衡性表示關(guān)系所連接的頭尾節(jié)點數(shù)目不同。如果只用一個模型處理所有關(guān)系的話可能會導致對簡單關(guān)系過擬合，對復(fù)雜關(guān)系欠擬合。本文提出兩種模型 Transparse (share) 和 Transparse (separate) 分別解決這兩個問題。

模型

Transparse 模型本質(zhì)是 TransR 模型的擴展，區(qū)別在于對于那些復(fù)雜的關(guān)系令其轉(zhuǎn)移矩陣稠密，而對于簡單的關(guān)系令其轉(zhuǎn)移矩陣稀疏。這個稀疏程度由?θr?控制，具體計算公式如下：

θmin 表示 0-1 之間的一個控制變量，Nr 表示關(guān)系 r 連接實體對的數(shù)量，Nr* 表示其中連接的最大值，同理?表示關(guān)系 r 連接的頭\尾實體數(shù)，表示其中的最大值。

share 和separate 的區(qū)別在于 separate 模型為 head 和 tail 提供了兩種不同的轉(zhuǎn)移矩陣，而 share 模型 head 和 tail 的轉(zhuǎn)移矩陣相同，具體公式如下所述：

該篇文章的亮點在于針對知識圖譜存在的異構(gòu)性和不平衡性問題，作者分別提出兩種不同的模型來解決，但缺陷是作者并沒有將這兩種模型進行融合，最后在 triplet classification 和 link prediction 上的結(jié)果并沒有比 TransD 提升很多。

Locally Adaptive Translation for Knowledge Graph Embedding

Jia Y, Wang Y, Lin H, et al. AAAI, 2016.

寫作動機

之前所有模型的 margin 都是固定不變的，但局部不同的 margin 是否能夠提升模型的效果呢？作者為了證明，首先做了一組實驗，將 FB15K 分成兩個子集，在不同數(shù)據(jù)集上分別得到達到最優(yōu)效果的 margin，發(fā)現(xiàn)局部最優(yōu)的 margin 不盡相同。

從理論來講，Margin 變大，更多的數(shù)據(jù)被訓練，容易導致過擬合。相反，margin 越小，容易欠擬合。所以也證明了 margin 對最終結(jié)果的影響。

模型

本文將 margin 分為 entity 和 relation 兩部分，并利用線性插值進行組合。實體部分的 margin 應(yīng)保證內(nèi)層圓包含更多的正例，外層圓的外部應(yīng)盡可能是負例。對于 relation 部分，本文利用 relation 的長度，即 L2 范式來衡量相似度關(guān)系。具體公式如下圖所示：

Rh,r 是除了關(guān)系 r 之外的所有關(guān)系的集合，它使得所有與關(guān)系 r 不相近的關(guān)系遠離 r。本篇文章比較巧妙地利用局部 margin 的方式，在 link prediction 和 triple classification 結(jié)果上有了明顯提升。

最后用一張圖表總結(jié)下這 8 篇論文的 9 種模型。

參考文獻

[1]?TransE算法（Translating Embedding）

http://blog.csdn.net/u011274209/article/details/50991385

[2] 基于翻譯模型（Trans系列）的知識表示學習

https://mp.weixin.qq.com/s/STflo3c8nyG6iHh9dEeKOQ

?論文共讀?

想和我們一起讀論文嗎？小編在此給大家安利一個在線協(xié)同讀論文神器，復(fù)制下方鏈接在瀏覽器中打開即可加入我們~

上車通道：http://t.cn/RWa5XOA

還在猶豫要不要加入？不如先看看本期閱讀list中有沒有你感興趣的論文吧！

1. AutoEncoder by Forest?

2. Object-oriented Neural Programming (OONP) for Document Understanding?

3. Training RNNs as Fast as CNNs?

4. Mask R-CNN

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 訪問作者知乎專欄

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的综述 | 知识图谱向量化表示的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。