Translating Embeddings for Modeling Multi-relational Data

• - Abstract
• - Background
• - ALgorithm
• - Experiment
• - Conclusion

- Abstract

在低位向量空間中，嵌入多關系數據的實體與關系。提出一個規范模型，易于訓練，包含較少的參數，并且可以擴展到非常大的數據庫。TransE就是在低維嵌入中，一種通過對實體進行翻譯來建模關系的方法。

- Background

聚類算法和矩陣分解算法在單一關系模型上有著非凡的共性，基于這兩種方法，因此現有的多種關系模型方法，也是在設計在隱藏參數的關系學習的框架中。例如隱變量模型、能力模型、張量分解模型、矩陣分解模型等。

許多最新的方法都集中在提高模型的表達性和通用性，以學習在低維空間中嵌入實體。這些模型的更大的表達性是以模型復雜性的大幅增加為代價的，這導致了難以解釋的建模假設和更高的計算成本。此外，這種方法可能會受到過度擬合的影響，因為這種高容量模型的適當正則化很難設計。

事實上，[A semantic matching energy function for learning with multi-relational data]顯示了一個更簡單的模型(線性而不是雙線性)在幾個具有相對大量不同關系的多關系數據集上取得了幾乎與最有表達能力的模型一樣好的性能。這表明，即使在復雜和異構的多關系領域中，簡單而適當的建模假設也可以在準確性和可伸縮性之間做出更好的權衡。

- ALgorithm

得分函數：
f(h,t)=||h+r-l||^2

損失函數：


the set of corrupted triplets, constructed according to Equation 2, is composed of training triplets with either the head or tail replaced by a random entity (but not both at the same time).

- Experiment

Wordnet知識庫中選取部分數據WN，Freebase知識庫中抽取兩部分數據集（實驗集FB15k，測試集FB1M）
關于知識表示學習中鏈接預測的評測指標的說明（Mean Rank 和 Hits@10，Raw和Filter）【https://blog.pcninja.cn/2020/08/evaluation-indices-of-link-prediction/】
Mean Rank: 排名的平均值（越小越好）
Hit@10: 排名在前10所占的比例（越大越好）

實驗分析：
所有關系分為一對一、一對多、多對一、多對多四大類，分別統計Hit@10。

結果顯示：
1.SME多對一的關系在預測尾實體時性能最好，一對多的關系在預測頭實體時性能最好；
2.Unstructured模型只在一對一的情況下表現良好；
3.SME模型在某些情況下性能比TransE更好，這是因為訓練數據更多。
預測結果展現：
作者展現了用頭實體都能預測出哪些尾實體（斜體表示正確的預測）。
泛化能力：
實驗表明，TransE泛化效果最好。

- Conclusion

TransE模型最大的優勢在于其簡單、容易擴展。

但缺點也很明顯，比如存在多個實體在embedding空間中競爭一個點的情況，不適合處理一對多或多對多的關系，并且完全沒有考慮語義信息，因而后來產生了一系列模型對TransE進行改進。
代碼解釋：
https://blog.csdn.net/qq_34687559/article/details/108361989

總結

以上是生活随笔為你收集整理的TransE 论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。