TransE算法中存在一個(gè)設(shè)定，它將關(guān)系看作是實(shí)體間的平移向量，也就是說(shuō)對(duì)于一個(gè)三元組（h,r,t）對(duì)應(yīng)的向量l_h，l_r，l_t，希望

l_h+l_r =l_t
這源于Mikolov等人在2013年提出的word2vec詞表示學(xué)習(xí)模型，他們發(fā)現(xiàn)詞向量空間存在著平移不變現(xiàn)象，如
C(king)?C(queen)≈C(man)?C(woman)C(king)?C(queen)≈C(man)?C(woman)
其中，C(w)就是word2vec學(xué)習(xí)到的詞向量表示。我們可以看到，詞向量可以獲取詞之間的某種隱含關(guān)系。

因此TransE中，對(duì)于給定一個(gè)由三元組 (h,r,t) 組成的訓(xùn)練集S，其中h，t屬于實(shí)體集合E，r屬于關(guān)系集合L，模型學(xué)習(xí)實(shí)體和關(guān)系的向量嵌入，通過(guò)不斷的調(diào)整h，r，t，使得盡量接近上面提到的平移設(shè)定。每個(gè)元組有一個(gè)energy等于相似性度量 d(h+l,t)，d代表曼哈頓距離或者歐氏距離。也就是說(shuō)，當(dāng)一個(gè)三元組的energy越小時(shí)，它越符合我們的期望，即l_h+l_r=l_t。我們的目標(biāo)就是降低正確三元組的energy。在訓(xùn)練集中有如下目標(biāo)函數(shù)：

(1)
其中[x] ₊表示x大于0時(shí)取原數(shù)值，小于0時(shí)取0， γγ 是一個(gè)邊際參數(shù)，它是采用支持向量機(jī)（SVM）的思想，最大化正確三元組與錯(cuò)誤三元組的距離，因此還需要構(gòu)造錯(cuò)誤三元組：
(2)

如公式(2)所示，通過(guò)隨機(jī)選擇實(shí)體替換頭實(shí)體或者尾實(shí)體來(lái)構(gòu)成錯(cuò)誤的訓(xùn)練三元組。相比錯(cuò)誤的元組，損失函數(shù)(1)更有利于降低正確元組的energy增加錯(cuò)誤元組的energy。

優(yōu)化方法選用隨機(jī)梯度下降法(minibatch模型)，對(duì)h，t，t有一些附加約束，實(shí)體嵌入的歐式距離值為1(對(duì)關(guān)系嵌入沒(méi)有約束)。此約束可以有效地收斂。

所有實(shí)體按照算法提出的隨機(jī)方式進(jìn)行初始化。算法的每次迭代，都要先歸一化實(shí)體嵌入向量。然后，從訓(xùn)練集中選取一部分元組為樣例充當(dāng)minibatch的訓(xùn)練元組。對(duì)每個(gè)這樣的元組，取樣一個(gè)錯(cuò)誤元組。然后通過(guò)一定的學(xué)習(xí)率的梯度步驟更新參數(shù)。
算法的流程如下：

參考文獻(xiàn)
Bordes A, Usunier N, Garcia-Duran A, et al. Translating Embeddings for Modeling Multi-relational Data[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2013:2787-2795.

總結(jié)

以上是生活随笔為你收集整理的TransE算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。