論文鏈接：http://anthology.aclweb.org/attachments/P/P18/P18-1012.Presentation.pdf

發表會議：ACL 2018

摘要

知識圖譜的嵌入表示在近幾年已經成為一個非常活躍的研究領域，眾多相關方法相繼被提出，這些嵌入方法是將知識圖譜中的實體和關系表示成同一向量空間中的向量。雖然知識圖譜的嵌入表示在各種任務中被廣泛應用，但是對嵌入表示的幾何理解尚未被探索，本文旨在填補這項空白。本文深入分析知識圖譜嵌入表示的幾何形狀，并分析其與任務性能和其他超參數之間的關聯。通過在真實數據集上進行廣泛的實驗，本文發現了一些值得注意的現象，例如不同類別的嵌入方法學習到的嵌入表示在幾何形狀上存在明顯差異。

度量標準

1.???? ATM

ATM（alignment to mean）是指向量集合 V 中的一個向量 v 與平均向量的余弦相似度。

2.???? Conicity

Conicity是指向量集合 V 中所有向量 ATM 的平均值。

3.???? VS

VS（vector spread）是指向量集合V中所有向量ATM的方差。

圖1給出了一個實例來幫助理解這幾個指標，圖中是一個三維坐標系（展示的點是隨機生成的），左圖表示的是高錐度（conicity）和低向量分散度（VS）的情形，而右圖表示的是低錐度和高向量分散度的情形。

4.???? AVL

AVL（average vector length）是指向量集合V中所有向量的平均長度（ L_2范數）。

實驗分析

本文的主要考慮6個知識圖譜的嵌入表示模型，并把6個方法分為兩類。一類是加法（additive）模型，有TransE[2]、TransR[3]和STransE[4]；另一類是乘法（multiplicative）模型，有DistMult[5]、HolE[6]和ComplEx[7]。同時，本文采用了兩個常見數據集FB15K和WN18。本文主要從以下4個發現展開實驗分析。

1.???? 模型類型對幾何形狀的影響

不同模型在實體向量的幾何形狀上存在明顯差異。乘法模型的ATM值均為正值且向量分散度較低。加法模型此形成鮮明對比，加法模型的ATM值正負皆有且分布較為均衡，同時向量分散度較高。這說明乘法模型得到的嵌入向量不是均勻的分散在向量空間中，而加法模型得到的嵌入向量則是均勻的分散在向量空間中。

2.???? 反例數量對幾何形狀的影響

乘法模型的錐度（conicity）隨著反例數量的增加而增大，而加法模型的錐度對反例數量不敏感。在平均向量長度（AVL）方面，乘法模型中的DistMult和ComplEx隨著反例數量的增加而減小，HolE則幾乎沒有變化，這是因為HolE把實體向量限制在了單位球內。所有加法模型的AVL也對反例數量不敏感，而它們也有和HolE類似的限制。

3.???? 向量維數對幾何形狀的影響

隨著向量維數的增加，乘法模型的錐度呈現出下降的趨勢，而平均向量長度則呈現出上升趨勢。加法模型的錐度和平均向量長度則對向量維數不敏感。

4.???? 幾何形狀與性能的聯系

本實驗以鏈接預測任務為例，采用與TransE相同的實驗設定。當反例數量相同時，錐度小的乘法模型的性能更優；當反例數量增加時，乘法模型表現更好。加法模型的性能與錐度并無太大關系。在平均向量長度方面，對于除HolE之外的乘法模型而言，當反例數量一定時，平均向量長度越大性能越好；而對于加法模型和HolE而言，平均向量長度與性能的關系并不顯著，這個現象是由于這些方法使用單位向量長度來限制嵌入向量所導致的。

參考

[1] Chandrahas, Aditya Sharma, Partha Talukdar: Towards Understanding the Geometry of Knowledge Graph Embeddings. ACL 2018: 122-131.

[2] Antoine Bordes, Nicolas Usunier, Alberto Garciaduran, Jason Weston, Oksana Yakhnenko: Translating Embeddings for Modeling Multi-relational Data. NIPS 2013: 2787-2795.

[3] Yankai Lin, Zhiyuan Liu, Maosong Sun, Yang Liu, Xuan Zhu: Learning entity and relation embeddings for knowledge graph completion. AAAI 2015: 2181-2187.

[4] Dat Quoc Nguyen, Kairit Sirts, Lizhen Qu, Mark Johnson: STransE: anovel embedding model of entities and relationships in knowledge bases.NAACL-HLT 2016: 460-466.

[5] Bishan Yang, Wentau Yih, Xiaodong He, Jianfeng Gao, Li Deng: Embedding Entities and Relations for Learning and Inference in Knowledge Bases. ICLR2015.

[6] Maximilian Nickel, Lorenzo Rosasco, Tomaso Poggio: Holographic embeddings of knowledge graphs. AAAI 2016: 1955-1961.

[7] Theo Trouillon, Johannes Welbl, Sebastian Riedel, Eric Gaussier, Guillaume Bouchard: Complex embeddings for simple link prediction. ICML 2016: 2071-2080.

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

轉載須知：轉載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標題，請注明原標題。

?

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | 对于知识图谱嵌入表示的几何形状理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。