[論文學(xué)習(xí)以及翻譯]TDN: An Integrated Representation Learning Model of Knowledge Graphs

• 文章主要內(nèi)容
• • 摘要
  • 前言
  • 相關(guān)工作
  • 基于TDN的表示的框架結(jié)構(gòu)
  • 方法
  • • 文本信息的表示
    • 網(wǎng)絡(luò)結(jié)構(gòu)的embedding方法
  • 模型訓(xùn)練過(guò)程
  • • 定義
    • 訓(xùn)練
    • 過(guò)程
  • 實(shí)驗(yàn)
  • • 數(shù)據(jù)集
    • 實(shí)驗(yàn)的參數(shù)設(shè)置
    • 鏈接預(yù)測(cè)
    • 實(shí)驗(yàn)結(jié)果分析
  • 結(jié)論
• 讀后感

文章下載鏈接：https://github.com/ciecus/papers/blob/master/%E7%9F%A5%E8%AF%86%E5%92%8C%E8%AF%AD%E4%B9%89%E7%BB%93%E5%90%882019%E5%B9%B4%E6%96%B0%E6%96%87%E7%AB%A0/TDN-%20An%20Integrated%20Representation%20Learning%20Model%20of%20Knowledge%20Graphs.pdf
文章代碼鏈接：暫無(wú)

文章主要內(nèi)容

摘要

知識(shí)圖譜在人工智能領(lǐng)域起到了非常重要的作用。知識(shí)圖譜致力于將實(shí)體和關(guān)系投影到連續(xù)的低維空間中。這種表示學(xué)習(xí)的方法可以通過(guò)預(yù)測(cè)潛在的三元組（head，relation，tail）用來(lái)完善知識(shí)圖。在現(xiàn)有的方法種，人們主要集中于利用已有的三元組知識(shí)，但是忽略了融合文本信息和知識(shí)網(wǎng)的拓?fù)浣Y(jié)構(gòu)。這些問(wèn)題導(dǎo)致了歧義問(wèn)題。為了解決這個(gè)問(wèn)題，并且構(gòu)造一個(gè)更加準(zhǔn)確的知識(shí)網(wǎng)，我們提出了一種新的表示學(xué)習(xí)模型，TDN模型，這個(gè)模型融合了三元組信息，文本描述信息，以及知識(shí)圖的網(wǎng)絡(luò)結(jié)構(gòu)。本文將詳細(xì)介紹TDN的框架結(jié)構(gòu)及TDN因子表示的方法。為了驗(yàn)證提出來(lái)的模型的有效性，我們?cè)趯?shí)際數(shù)據(jù)的鏈接預(yù)測(cè)任務(wù)驗(yàn)證我們的模型，實(shí)驗(yàn)結(jié)果驗(yàn)證了我們模型的有效性。
關(guān)鍵詞：人工智能；embedding，知識(shí)圖，知識(shí)表示

前言

知識(shí)圖在人工智能領(lǐng)域起到了非常重要的作用，比如智能問(wèn)答，網(wǎng)絡(luò)搜索等。知識(shí)圖是一個(gè)包含了大連三元組（head，relation，tail）的語(yǔ)義網(wǎng)絡(luò)，其中head和tal是網(wǎng)絡(luò)中的實(shí)體（entity）。知識(shí)圖一個(gè)非常重要的任務(wù)就是利用已有的知識(shí)去預(yù)測(cè)潛在的事實(shí)去完善我們的知識(shí)圖。知識(shí)圖的完善近似于社交網(wǎng)絡(luò)分析中的鏈接預(yù)測(cè)，但是它更具難度。因?yàn)橹R(shí)圖包含了很多象征意義的變形以及邏輯信息，鏈接預(yù)測(cè)需要不能能考慮到點(diǎn)的存在性還需要考慮點(diǎn)的語(yǔ)義信息和類型。因此，傳統(tǒng)的鏈接預(yù)測(cè)方法并不適用于知識(shí)圖的完善，為了解決這個(gè)問(wèn)題，基于翻譯(Trans)方法的知識(shí)表示的方法被提出，此類方法通過(guò)將知識(shí)圖中的實(shí)體和關(guān)系投影到連續(xù)的低維空間中，去構(gòu)建知識(shí)圖。在本文中我們把這種機(jī)制叫做vector embedding(因子表示方法)。現(xiàn)有的知識(shí)表示方法僅僅利用三元組星系，忽略了關(guān)于實(shí)體的語(yǔ)義信息以及網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，這些都會(huì)導(dǎo)致知識(shí)網(wǎng)的歧義問(wèn)題。并且，大多數(shù)知識(shí)圖都有一些關(guān)于實(shí)體的描述信息，并且這些描述信息包含重要的上下文信心。上下文信息的缺失導(dǎo)致不能夠細(xì)粒度的分析途中的關(guān)系，以至于不能夠正確的利用知識(shí)圖進(jìn)行推理，如圖一(a)所示。并且，對(duì)于知識(shí)圖來(lái)說(shuō)，所有的三元組連寫(xiě)起來(lái)構(gòu)建了一個(gè)有特定拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)，也就是說(shuō)，任意的三元組都不是孤立的，而是手其它三元組的影響。因此，每一個(gè)三元組都應(yīng)該有他們對(duì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)自己的貢獻(xiàn)。但是現(xiàn)有的模型忽略了這些信息(如圖1(b)所示)。因此，這些信息的丟失都會(huì)造成知識(shí)圖完善的不準(zhǔn)確性。

圖1(a)展示了維多利亞是加拿大和seychelles的首都，如果基于傳統(tǒng)的翻譯模型，就會(huì)輸出一樣的實(shí)體，但是如果結(jié)合語(yǔ)義分析，應(yīng)該輸出不一樣的實(shí)體。圖1(b)展示了每一個(gè)三元組都在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中貢獻(xiàn)了自己的力量。

為了解決這些問(wèn)題，本研究提出了一種新的表示模型TDN模型，去綜合解決三元組信息(T)，實(shí)體描述信息(D)和網(wǎng)路結(jié)構(gòu)信息(N)。這些特征都被融合進(jìn)統(tǒng)一的特征空間，知識(shí)圖可以在這個(gè)空間中沒(méi)有歧義的進(jìn)行計(jì)算和分析。本文的主要貢獻(xiàn)如下：

• 提出了一個(gè)融合的知識(shí)表示模型，三元組信息，實(shí)體描述信息和網(wǎng)絡(luò)結(jié)構(gòu)都被考慮起來(lái)，并且能夠消除知識(shí)圖中的歧義(KG can be represented with less ambiguity)。
• 通過(guò)在這種方法表示實(shí)體和關(guān)系，知識(shí)圖能夠更準(zhǔn)確的完善。

本文的其余部分按照下面的組織架構(gòu)安排：我們首先介紹了相關(guān)工作，然后對(duì)我們提出的模型進(jìn)行描述，接著我們提出了我們完整的TDN模型構(gòu)建方法。此外，為了驗(yàn)證我們模型的有效性，我們?cè)O(shè)計(jì)了實(shí)驗(yàn)，最后我們總結(jié)了我們的工作，并且提出了接下來(lái)的工作。

相關(guān)工作

當(dāng)前的知識(shí)表示學(xué)習(xí)可以被分成兩種類別，基于三元組的翻譯表示模型和基于額外信息的翻譯模型(the extra-information-based Trans embedding)。前者僅僅使用了三元組的象征表示，后者采用額外的信息比如文本信息圖像信息去表示我們的實(shí)體。對(duì)于一個(gè)經(jīng)典的翻譯表示模型來(lái)說(shuō)，TransE將實(shí)體和關(guān)系映射到一個(gè)低維特征空間，然后每一組三元組都通過(guò)損失函數(shù)，進(jìn)行表示。$$E(h.r,t)=||h+r?t||$$其中h，r，t分別被成為頭實(shí)體，關(guān)系和尾實(shí)體。TransE模型非常的簡(jiǎn)單有效，但是 因?yàn)榘褜?shí)體和關(guān)系映射到統(tǒng)一的向量空間，它表示多元三元組關(guān)系的能力(1to N,N to 1,N to N)的能力就比較局限，為了客服這個(gè)問(wèn)題，TransH被提出了，它通過(guò)把向量投影到一個(gè)超平面，完成特定關(guān)系的投影。TransH模型可以讓同樣的實(shí)體在不同的關(guān)系超平面中扮演不同的決策，從而實(shí)現(xiàn)多元關(guān)系的問(wèn)題。此外，TransR模型通過(guò)翻譯矩陣(transformation matrix)去區(qū)分實(shí)體空間，關(guān)系空間，并且將這些實(shí)體關(guān)系對(duì)，映射到不同的關(guān)系空間中，TransR的損失函數(shù)被定義為：
$$E(h,r,t)=||h{M}_r+r?t{M}_r||$$
通過(guò)翻譯矩陣$M_r$,TransR可以提供多樣的翻譯關(guān)系此外TransR的拓展TransD模型通過(guò)使用不同的翻譯矩陣，在知識(shí)圖中實(shí)現(xiàn)了更加多元的表示。

大多現(xiàn)存的基于三元組的翻譯模型只考慮了三元組信息，但是忽略了文本描述中的語(yǔ)義信息。為了彌補(bǔ)這個(gè)缺陷，許多基于額外信息的Trans模型被提出，將語(yǔ)義信息融合到實(shí)體的向量表示中。通過(guò)文本表示的詭異秒，基于描述的知識(shí)表示(DKRL)將每一個(gè)實(shí)體描述使用CNN將文本信息投影到一個(gè)文本空間空間中，然后將基于三元組的TransE表示和基于文本的表示進(jìn)行拼接，實(shí)驗(yàn)證明了DKRL可以顯著提升知識(shí)圖譜完成的有效性。此外，基于Bi-LSTM的自編嗎器，A-LSTM被提出去表示實(shí)體的描述，IKRL在知識(shí)圖中加入圖片信息提升知識(shí)完善的有效性，近期也有一些問(wèn)題提出利用結(jié)構(gòu)信息去改善embedding的效果，但是他們通常只利用本地的結(jié)構(gòu)信息，沒(méi)有考慮不同的位置的影響，同時(shí)也沒(méi)有用上文本描述信息。

基于TDN的表示的框架結(jié)構(gòu)

TDN提供了一個(gè)混合框架結(jié)構(gòu)可以在圖中同時(shí)融合文本描述信息和結(jié)構(gòu)信息。通過(guò)TDN，實(shí)體的embedding表示是通過(guò)下述方法定義的：
$$e=e_s\oplus e_d\oplus e_g$$,其中$e_s,e_d,e_g$分別是算遠(yuǎn)足，文本，和網(wǎng)絡(luò)向量，$\oplus$代表拼接(concatentation)。

本文中，embedding的方法嚴(yán)格遵循上述公式的叫做完全TDN表示。此外TDN模型有一些變種方法，當(dāng)$e_d$為= 或者$e_g$為0 的時(shí)候，我們稱之為不完全TDN模型。

圖二展示TDN的網(wǎng)絡(luò)架構(gòu)，$e_s,e_d,e_g$模型分別按照下面方法計(jì)算。首先，我們采用經(jīng)典的Trans模型，比如TransE或者TransR模型，將每一個(gè)三元組投影或者物品的三元組表示$e_s$。其次，我們開(kāi)始考慮文本的描述信息，我們采用DKRL中的emebedding方法，用CNN網(wǎng)絡(luò)作為文本編碼器，通過(guò)上述方法文本描述的語(yǔ)義信息就可以表述成向量$e_d$，第三，網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)圖的表示學(xué)習(xí)的方法，表示成e_g,所以網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)就被保存下來(lái)。
最后我們?cè)诮y(tǒng)一的特征空間中融合這個(gè)知識(shí)圖，所以這個(gè)知識(shí)圖的信息就會(huì)減少很多歧義。

方法

正如上述討論，TDN模型包括了三元組，文本，網(wǎng)絡(luò)結(jié)構(gòu)的信息，因?yàn)槲覀冎苯硬捎昧私?jīng)典的Trans模型去完成三元組的表示部分，所以我們這里只詳細(xì)介紹如何對(duì)文本信息和網(wǎng)絡(luò)信息進(jìn)行表示。

文本信息的表示

在這個(gè)部分，我們分別采用兩種模型去完成文本信息的表示。

第一種使用的方法叫做CBOW。通過(guò)這種方法，實(shí)體的表述文本可以被表示為一個(gè)詞的序列，$x_{i:n}=x_1,x_2,\dots ,x_n$，其中$x_i$是第i個(gè)詞的入口。我們采用這種詞的embedding的求和平均的方法獲得實(shí)體描述的embedding。
$$e_d=\frac{1}{n}\sum _{i=1}^n{x}_i$$
cbow模型能夠提取文本中的關(guān)鍵語(yǔ)義信息。
此外我們采用cnn的詞表示方法提取文本的向量表示，圖三展示了這個(gè)過(guò)程，

采用和DKRL一樣的預(yù)處理過(guò)程，我們把詞的表示作為輸入，模型采用了兩個(gè)卷積層，然后他們的輸出通過(guò)最大池化和平均池化。最后模型能夠產(chǎn)生一個(gè)固定長(zhǎng)度的向量表示。

網(wǎng)絡(luò)結(jié)構(gòu)的embedding方法

傳統(tǒng)的Trans模型只關(guān)注三元組本地的信息，從而忽略了不同位置的拓?fù)浣Y(jié)構(gòu)。在本文中，我們考慮到知識(shí)圖中不同的拓?fù)浣Y(jié)構(gòu)中的節(jié)點(diǎn)會(huì)相互影響，并且能夠給實(shí)體表示帶來(lái)更多的信息，因此我們采用網(wǎng)絡(luò)表示的方法完成這個(gè)部分。

網(wǎng)絡(luò)表示方法通過(guò)把節(jié)點(diǎn)投影到低維的向量空間中，并且采用向量去表示圖的拓?fù)浣Y(jié)構(gòu)。通過(guò)這個(gè)想法，知識(shí)圖中的三元組信息可以被認(rèn)為是網(wǎng)絡(luò)中中的鄰居。因此網(wǎng)絡(luò)表示就可以通過(guò)這樣的方法學(xué)習(xí)。這個(gè)過(guò)程的理論基礎(chǔ)是在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中相似的節(jié)點(diǎn)向量中間中也應(yīng)該相似。

本文采用的DeepWalk是一種經(jīng)典的網(wǎng)絡(luò)表示模型，DeepWalk給語(yǔ)言模型和非監(jiān)督的圖模型中帶來(lái)了許多提升。它通過(guò)堆積所走在圖中生成序列，然后獲得詞的向量表示，圖4展現(xiàn)了DeepWalk的學(xué)習(xí)過(guò)程。

通過(guò)引進(jìn)映射函數(shù) $?:\{v\}\to R^{|V|\times d}$,其中$V$和$d$分別表示節(jié)點(diǎn)的數(shù)量和向量的維度。DeepWalk給每一個(gè)節(jié)點(diǎn)都生成了一個(gè)向量國(guó)恥，這個(gè)過(guò)程通過(guò)極大似然函數(shù)的優(yōu)化過(guò)程來(lái)進(jìn)行。
$$Pr(v_i|?(v_1),?(v_2),\dots ,?(v_{i?1}))$$
但是隨著路徑長(zhǎng)度的增長(zhǎng)，這個(gè)條件似然概率就非常難計(jì)算，為了簡(jiǎn)化計(jì)算過(guò)程，DeepWalk采用一個(gè)詞于預(yù)測(cè)上下文，而不是用上下文預(yù)測(cè)一個(gè)缺失值。在這種情況下，這個(gè)問(wèn)題就轉(zhuǎn)換成了下面的優(yōu)化問(wèn)題:
$$\begin{gathered} \arg \underset{?}{\min }?\log Pr(\{v_{i?w},\dots ,v_{i+w}\} \\ {v}_i|?(v_i)) \end{gathered}$$。

模型訓(xùn)練過(guò)程

定義

給定一個(gè)知識(shí)圖，使用$T=\{(h,r,t)|h,t\in E,r\in R\}$代表知識(shí)圖中的三元組信息，其中$E$代表實(shí)體集合，$R$代表關(guān)系集合，E和R可以構(gòu)建成一個(gè)圖$G=(E,R)$。TDN模型可以被表述成參數(shù)集合$\theta =\{X,E,R,N\}$，其中E，R分表代表了E，R的三元組因子表示，X代表實(shí)體的的文本表述，N代表了圖的網(wǎng)絡(luò)結(jié)構(gòu)表示。

訓(xùn)練

根據(jù) $e=e_s\oplus e_d\oplus e_g$，我們結(jié)合了三元組信息，文本信息，網(wǎng)絡(luò)信息作為最后訓(xùn)練模型的實(shí)體表述，最后的實(shí)體表示的優(yōu)化過(guò)程可以通過(guò)下述基于邊緣的孫書(shū)函數(shù)作為優(yōu)化目標(biāo)進(jìn)行優(yōu)化：
$$￡=\sum _{(h,r,t)\in T}\sum _{(\hat{h},\hat{r},\hat{t})\in \hat{T}}max(\gamma +f(h,r,t))?f(\hat{h},\hat{r},\hat{t}),0)$$，其中$\gamma >0$是一個(gè)超參數(shù)。T是正確三元組的集合，$\hat{T}$是不正確的三元組的集合，
$f(h,r,t)=||h+r?t||$，不正確的集合是隨機(jī)換一個(gè)三元組中的關(guān)系得來(lái)。此外需要注意的是，對(duì)于一個(gè)實(shí)體來(lái)說(shuō)，不管它是頭實(shí)體還是尾實(shí)體，他們的向量表示都是一樣的。

過(guò)程

TDN的訓(xùn)練過(guò)程首先需要從三個(gè)方面初始化。首先對(duì)于三元組信息E和R可以通過(guò)基于翻譯的方法比如TransE的方法進(jìn)行初始化，對(duì)于文本向量，X可以通過(guò)CBOW或者CNN編碼器的方法對(duì)實(shí)體的文本描述信息進(jìn)行表示。對(duì)于網(wǎng)絡(luò)表示來(lái)說(shuō)，N可以通過(guò)對(duì)于整個(gè)知識(shí)圖作為輸入的方法獲得。隨后，這些表示都通過(guò)$e=e_s\oplus e_d\oplus e_g$進(jìn)行融合。

初始化之后，優(yōu)化方法就通過(guò)SGD進(jìn)行反向傳播進(jìn)行，反向傳播會(huì)被鎖住當(dāng)都是全0的padding的時(shí)候，或者現(xiàn)有高的特征值沒(méi)有在前向傳播的時(shí)候考慮到。最后采用$$\begin{gathered} \arg \underset{?}{\min }?\log Pr(\{v_{i?w},\dots ,v_{i+w}\} \\ {v}_i|?(v_i)) \end{gathered}$$對(duì)模型進(jìn)行優(yōu)化。

實(shí)驗(yàn)

數(shù)據(jù)集

在這個(gè)研究中，我們從真實(shí)的大規(guī)模數(shù)據(jù)集KG FreeBase中提取一個(gè)數(shù)據(jù)集，FB15k作為我們的實(shí)驗(yàn)數(shù)據(jù)，實(shí)體的描述信息在論文DKRL中可以獲得。在這個(gè)數(shù)據(jù)集中，描述詞的平均長(zhǎng)度為69，最長(zhǎng)的描述長(zhǎng)度為343。訓(xùn)練集中有472,860組三元祖，1341種關(guān)系類型，驗(yàn)證集有48,991種三元組，測(cè)試集有57803組三元組。
表1列出了數(shù)據(jù)集的統(tǒng)計(jì)信息：

實(shí)驗(yàn)的參數(shù)設(shè)置

我們對(duì)于完整的TDN做了4組實(shí)驗(yàn)，不完成的TDN模型變種做了6組實(shí)驗(yàn)，

• TDNWE：完整的TDN模型，融合了TransE的三元組表示，CBOW的文本表示和DeepWalk的網(wǎng)絡(luò)節(jié)點(diǎn)表示
• TDNCE：完成的TDN模型，融合了TransE的三元組表示，CNN編碼器的文本表示和DeepWalk的網(wǎng)絡(luò)節(jié)點(diǎn)表示
• TDNW(TE+CBOW)：融合了TransE的三元組表示，CBOW的文本表示
• TDNC(TE+CNN): 融合了TransE的三元組表示，CNN編碼器的文本表示
• TDN(TE+NET):融合了TransE的三元組表示和DeepWalk的網(wǎng)絡(luò)節(jié)點(diǎn)表示
• TDNWR：完整的TDN模型，融合了TransR的三元組表示，CBOW的文本表示和DeepWalk的網(wǎng)絡(luò)節(jié)點(diǎn)表示
• TDNCR：完成的TDN模型，融合了TransR的三元組表示，CNN編碼器的文本表示和DeepWalk的網(wǎng)絡(luò)節(jié)點(diǎn)表示
• TDNW(TR+CBOW)：融合了TransR的三元組表示，CBOW的文本表示
• TDNC(TR+CNN): 融合了TransR的三元組表示，CNN編碼器的文本表示
• TDN(TR+NET):融合了TransR的三元組表示和DeepWalk的網(wǎng)絡(luò)節(jié)點(diǎn)表示

我們完成了兩組現(xiàn)有模型作為baseline進(jìn)行對(duì)比，第一組包括兩種進(jìn)店的trasn模型，TransE和TransR，第二種擴(kuò)包DKRL+TransE和A-LSTM模型，將文本描述作為額外信息進(jìn)行embedding。

我們將這些三元組的維度信息分別設(shè)置為$n_{tr}$ 50,100,200,300，文本向量的維度分別為$n_{tx}$ 50,100,200,網(wǎng)絡(luò)向量的維度$n_{tn}$分別為50，100，200.仿照基于trans的模型，我們將學(xué)習(xí)率 $\lambda$設(shè)置為0.0005，0.001，0.002,邊緣margin $\gamma$設(shè)置為1.0，2.0.CNN編碼器的參數(shù)全都按照DKRL里面的參數(shù)進(jìn)行。

在我們的實(shí)驗(yàn)中，TDN的最優(yōu)實(shí)驗(yàn)設(shè)置為$\lambda =0.001,\gamma =1.0,n_{tr}=100,n_{tx}=100,n_{tn}=100$.

鏈接預(yù)測(cè)

鏈接預(yù)測(cè)是知識(shí)圖完善任務(wù)中的一個(gè)子任務(wù)。在測(cè)試階段我們使用kg中的實(shí)體去代替測(cè)試集中的實(shí)體，并且對(duì)于這些實(shí)體的得分$f(h,r,t)=||h+r?t||$進(jìn)行降序排序。根據(jù)基于trans 的模型，兩個(gè)驗(yàn)證方法用來(lái)評(píng)估實(shí)驗(yàn)的結(jié)果。
1)Meanrank:正確的三元組實(shí)體在所有三元組實(shí)體里面的平均排序
2)hits@10:排序前十的三元組里面的正確的三元組的概率。
【這里有一段corrupted triple的定義，我沒(méi)看懂所以沒(méi)有翻譯，】
實(shí)驗(yàn)結(jié)果如下表所示：

實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)果如商標(biāo)所示，我們采用加粗的方法表明了每列排名最高的兩個(gè)數(shù)。從結(jié)果中我們可以觀察到,（1）TDN模型獲得的節(jié)點(diǎn)表示顯著優(yōu)于TransE, TransR, DKRL+TransE and A-LSTM 。也就是說(shuō)文本描述，網(wǎng)絡(luò)結(jié)構(gòu)信息都可以顯著的提升鏈接預(yù)測(cè)的效果。(2)在所有嘗試的TDN的方法中，完整的TDN黨法優(yōu)于其它變種模型，也就是說(shuō)不管是文本信息還是結(jié)構(gòu)信息都應(yīng)該在知識(shí)圖中被構(gòu)建出來(lái)。（3）不完整的TDN模型中的TransE+net模型中構(gòu)建的甚至優(yōu)于了部分完整模型，也就是說(shuō)，我們需要在學(xué)習(xí)embedding的時(shí)候，對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)信息更加關(guān)注。

結(jié)論

本文中我們提出了一個(gè)TDN模型作為知識(shí)圖的表示，模型融合了三元組信息，節(jié)點(diǎn)表述信息，網(wǎng)絡(luò)結(jié)構(gòu)信息，通過(guò)將這些信息同時(shí)融入低維表示空間，TDM模型實(shí)現(xiàn)了更正確的知識(shí)圖補(bǔ)全功能。我們給出了基于TDN模型的網(wǎng)絡(luò)結(jié)構(gòu)定義，并且探究了不同的方法進(jìn)行文本表示和網(wǎng)絡(luò)結(jié)構(gòu)表示。在我們的實(shí)驗(yàn)設(shè)計(jì)中，我們采用鏈接預(yù)測(cè)對(duì)我們的結(jié)果進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果證明我們優(yōu)于其它模型。

并且一系列的實(shí)驗(yàn)證明，我們需要在鏈接預(yù)測(cè)任務(wù)中更加關(guān)注網(wǎng)絡(luò)結(jié)構(gòu)信息，在后期我們將探究更多網(wǎng)絡(luò)表示的方法去驗(yàn)證這個(gè)假設(shè)。

讀后感

本文代碼量很少，幾乎都是現(xiàn)成模型的拼接，我也不知道為什么能發(fā)表，但是文章讀起來(lái)非常流暢，表述非常清晰，對(duì)于符號(hào)的定義寫(xiě)的也比較好。

總結(jié)

以上是生活随笔為你收集整理的[论文学习]TDN: An Integrated Representation Learning Model of Knowledge Graphs的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。