為了解決TransE模型在處理一對多 、 多對一 、多對多復雜關系時的局限性，TransH模型提出讓一個實體在不同的關系下擁有不同的表示。如下公式所示，對于關系$r$，TransH模型同時使用平移向量$r$和超平面的法向量$w_r$來表示它。對于一個三元組$(h,r,t)$ , TransH首先將頭實體向量$h$和尾實體向量$r$，沿法線$w_r$，映射關系$r$對應的超平面上，用$h_{\perp }$和$t_{\perp }$表示如下:
$$\begin{gathered} h_{\perp }=h?w_r^{?}h{w}_r \\ {t}_{\perp }=t?w_r^{?}t{w}_r \end{gathered}$$
需要注意的是，由于關系r:可能存在無限個超平面，TransH簡單地令r與w_r,近似正交來選取某一個超平面。TransH 使不同的實體在不同的關系下擁有了不同的表示形式，但由于實體向量被投影到了關系的語義空間中，故它們具有相同的維度。

我們可以通過先下面這圖來進一步加深對這個超平面概念的理解:

根據上圖，我們可以得一個三元組元素的數學表示，h和t分別代表頭結點和尾節點的向量，而關系超平面由平面的法向量$w_r$以及平面上的平移向量 $d_r$表示。

具體的算法實現，對于一個三元組，我們首先需要將h和t映射到我們的超平面上，從而得到映射向量 [公式] 和 [公式] , 具體公式如下：
$$\begin{gathered} h_{\perp }=h?w_r^{?}h{w}_r \\ {t}_{\perp }=t?w_r^{?}t{w}_r \end{gathered}$$

其中簡單說明下$w_r^{?}h{w}_r$的含義，這里$w_r^{?}h=|w||h|cos\theta$表示$h$在$w_r$方向上投影的長度（帶正負號），乘以$w_r$即$h$在$w_r$上的投影。

得到投影之后，我們就可以根據下面的score function來求得三元組的差值：
$$f_r(h,t)=||(h?w_r^{?}h{w}_r)+d_r?(t?w_r^{?}t{w}_r)|{|}_2^2$$
這個公式中所期望的結果為，如果三元組關系是正確的，則結果數值較小，反之則結果數值較大。

為了實現上述所期望的結果，作者引入了margin-base ranking function 作為損失函數來訓練模型：
$$\mathcal{L}=\sum _{(h,r,t)\in \Delta }\sum _{(h^{\prime },r^{\prime },t^{\prime })\in {\Delta }_{(h^{\prime },r^{\prime },t^{\prime })}}[f_r(h,t)+\gamma ?f_{r^{\prime }}(h^{\prime }+t^{\prime }){]}_{+}$$
其中，$[x]+$看做$max(0,x)$，$\Delta$表示正確三元組的集合，${\Delta }^{\prime }$表示負例集合，$\gamma$為margin值用于區分正例和負例。這個loss通過Mini-SGD進行訓練，需要強調的一點是，訓練過程中，需要讓$f_r(h,t)$盡可能的小，$f_{r^{\prime }}(h^{\prime },t^{\prime })$盡可能大。

除此之外，在最小化loss function的過程中，模型還需要遵循三個軟約束原則：
$$\begin{gathered} ?e\in E,||e|{|}_2\le 1,//scale(1) \\ ?r\in R,|w_r^{?}{d}_r|/||d_r|{|}_2\le ?,//orthogonal(2) \\ ?r\in R,||w_r|{|}_2=1,//unitnormalvector(3) \end{gathered}$$
公式一是保證所有實體的embedding都歸一化。
公式二則用于保證$w_r$和$d_r$正交垂直，保證$d_r$在超平面上。
公式三則保證法向量的模為1。

為了體現上面三個約束條件，需要對loss function進行修改，加上對公式一和公式二的約束：
$$\begin{gathered} \mathcal{L}=\sum _{(h,r,t)\in \Delta }\sum _{(h^{\prime },r^{\prime },t^{\prime })\in {\Delta }_{(h^{\prime },r^{\prime },t^{\prime })}}[f_r(h,t)+\gamma ?f_{r^{\prime }}(h^{\prime }+t^{\prime }){]}_{+}+C\left\{\sum _{e\in E}{\left[{\Vert e\Vert }_2^2?1\right]}_{+}+\sum _{r\in R}{\left[\frac{(w_r^{?}{d}_r{)}^2}{{\Vert d_r\Vert }_2^2}?{?}^2\right]}_{+}\right\} \\ (4) \end{gathered}$$
其中C表示軟約束的權重，它也是訓練過程中的一個超參數。

而公式三則是在每次Mini-SGD后，對 $w_r$結果進行歸一化實現。

最后，TransH與TransE還有一點不同之處，在于負例的生成。現實中的知識圖譜不完整，需要減少假負例（即替換了一個節點后的三元組，恰好是整個知識圖譜中存在的另一個三元組）的出現，因此需要根據頭尾節點關系，進行節點替換，比如，對于一對多的關系，我們更多的替換頭結點而不是尾節點，這樣才能避免假負例出現的情況，具體的標準如下:

對于一個關系$r$, 我們首先要統計兩個數值，即這個關系每個頭結點平均對應的尾節點數，記做$tph$；及這個關系每一個尾節點平均對應的頭節點數，記做 $hpt$ 。最后通過公式$p=\frac{tph}{tph+hpt}$來表示頭結點被替換的概率，而尾節點替換的概率為$1?p$

相比于transE， TransH新增了很多參數，使得loss 在SGD中求梯度變得更為復雜，下面簡單介紹下，各個參數梯度求解結果。首先Loss 可以分解為一下三個式子:

其中Loss1的各參數求導如下:

總結

以上是生活随笔為你收集整理的TransH的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。