ICLR 2019 | 基于复杂空间关系旋转的知识表示方法
作者丨王金夢(mèng)
學(xué)校丨東南大學(xué)碩士生
研究方向丨知識(shí)圖譜、表示學(xué)習(xí)
動(dòng)機(jī)
知識(shí)圖譜通常是不完全的,因此預(yù)測(cè)缺失的鏈路是一項(xiàng)基本問(wèn)題,在鏈路預(yù)測(cè)任務(wù)上,已有大量的研究學(xué)習(xí)實(shí)體和關(guān)系的低維表示,這些方法的普遍目的是根據(jù)觀測(cè)到的事實(shí)建模推斷知識(shí)圖譜中的連通模式。
將知識(shí)圖譜中存在的關(guān)系模式劃分為三類(lèi):1)對(duì)稱/反對(duì)稱;2)逆;3)組合。
1. 對(duì)稱關(guān)系:(h,r,t)→(t,r,h),例如“配偶”關(guān)系;反對(duì)稱關(guān)系:(h,r,t)→?(t,r,h),例如“整除”關(guān)系;
2. 逆關(guān)系:(h,r1,t)→(t,r2,h), r1?=?,例如“父親”“兒子”關(guān)系;
3. 組合關(guān)系:(h1,r1,t1), (t1,r2,t2)→(h1,r3,t2),例如“配偶”“父親”“母親”;
已有的方法其得分函數(shù)如下所示:
分析每種模型的得分函數(shù):
1. TransE 將關(guān)系表示為頭實(shí)體和尾實(shí)體之間的雙射函數(shù),只能建模“逆”關(guān)系和“組合”關(guān)系,但是不能構(gòu)建“對(duì)稱”模式,因?yàn)閷?duì)于對(duì)稱關(guān)系它會(huì)產(chǎn)生 r=0;
2. TransX 模型是 TransE 模型的變形,當(dāng) gr,1=gr,2?時(shí)它可以構(gòu)建對(duì)稱/反對(duì)稱模式,但是不能推斷逆和組合模式,因?yàn)?gr,1、gr,2?是可逆矩陣乘法;
3. DisMult 無(wú)法建模反對(duì)稱和逆模式,因?yàn)槟P捅旧淼膶?duì)稱性質(zhì);
4. ComplEx 解決了 DisMult 的問(wèn)題并且能夠在復(fù)數(shù)空間推斷對(duì)稱和反對(duì)稱模式,另外它還可以推導(dǎo)逆規(guī)則,因?yàn)楣曹棌?fù)數(shù)的存在,可是它不能推導(dǎo)組合關(guān)系,因?yàn)樗ㄟ^(guò)關(guān)系 r 無(wú)法建模 h 到 t 的雙射函數(shù)。
5. HolE 和 ComplEx 模型類(lèi)似,ConvE 模型是一個(gè)黑箱子,包含兩層神經(jīng)網(wǎng)絡(luò)和卷積操作,很難去分析,因此這幾種模型可以推導(dǎo)的模式關(guān)系如下所示:
已存在的這些模型都只能構(gòu)建和推斷其中一種或幾種模式,不存在一種模型可以完全構(gòu)建所有關(guān)系模式,因此本文的動(dòng)機(jī)就是尋找一種可以建模推斷所有關(guān)系模式的方法。
上一篇論文中的 TorusE 模型的思想是在緊的李群中進(jìn)行平移嵌入,TorusE 模型可以看做本文提出的模型 RotatE 的一種特殊情況,即嵌入的模數(shù)確定,RotatE 模型在整個(gè)復(fù)數(shù)空間上定義,具有更強(qiáng)的表達(dá)能力。TorusE 模型關(guān)注 TransE 模型的正則化問(wèn)題,而本文關(guān)注多種類(lèi)型的關(guān)系模式的建模問(wèn)題。
另外,也有一些模型建模知識(shí)圖譜的關(guān)系路徑,可是這些方法只顯式建模關(guān)系路徑,而本文提出的模型還隱式的學(xué)習(xí)關(guān)系模式。
本文同樣也研究了如何有效地進(jìn)行負(fù)采樣的問(wèn)題,之前已有一些模型提出了生成對(duì)抗學(xué)習(xí)框架進(jìn)行負(fù)采樣?(KBGAN),可是這種框架要求同時(shí)訓(xùn)練嵌入模型和一個(gè)離散的負(fù)樣例生成器,導(dǎo)致了難以優(yōu)化和昂貴的計(jì)算代價(jià)。
模型
本文提出 RotatE 模型用于知識(shí)圖譜嵌入,靈感來(lái)源于歐拉恒等式,表明了可以將虛數(shù)單位 i 視作在復(fù)數(shù)空間中的旋轉(zhuǎn)。
分析:該恒等式中 e 代表連續(xù),i 代表旋轉(zhuǎn),就代表連續(xù)旋轉(zhuǎn),+1=0 就表示自然數(shù) 1 繞原點(diǎn)旋轉(zhuǎn) 180°,再平移 1 就回到了坐標(biāo)原點(diǎn)。
原理:具體來(lái)講,模型 RotatE 將實(shí)體和關(guān)系映射到復(fù)數(shù)向量空間,并且將每個(gè)關(guān)系定義為頭實(shí)體到尾實(shí)體的旋轉(zhuǎn):給定三元組 (h,r,t),期望?t=h°r,, , ?° 是哈達(dá)瑪積,則對(duì)于復(fù)數(shù)空間中的每一維都有:
通過(guò)約束,可以將視作的形式,即對(duì)應(yīng)于在復(fù)平面內(nèi)關(guān)于原點(diǎn)逆時(shí)針旋轉(zhuǎn)弧度,并且只影響在復(fù)數(shù)向量空間內(nèi)實(shí)體嵌入的相位。
距離函數(shù)可以定義為:
優(yōu)化:損失函數(shù)類(lèi)比詞嵌入中的負(fù)采樣損失,優(yōu)化基于距離的模型:
這種負(fù)采樣損失使用統(tǒng)一的方式對(duì)待所有三元組,這種模式會(huì)出現(xiàn)問(wèn)題,因?yàn)樵谟?xùn)練的過(guò)程中,許多樣例明顯是假的,不能提供任何有意義的信息,因此對(duì)負(fù)采樣方法進(jìn)行改進(jìn),提出“自我對(duì)抗負(fù)采樣”,根據(jù)當(dāng)前的嵌入模型采樣負(fù)例。具體來(lái)說(shuō),遵循以下分布采樣負(fù)三元組:
將該分布概率視作負(fù)例的權(quán)重,因此最終具有自我對(duì)抗訓(xùn)練的負(fù)采樣損失函數(shù)如下:
對(duì)于這三種關(guān)系的形式化定義如下:
1. 關(guān)系 r 是對(duì)稱/反對(duì)稱的:if?x,y : r(x,y) ? r(y,x) (r(x,y) ??r(y,x));
2. 關(guān)系 r1?是關(guān)系 r2?的逆:if?x,y : r2(x,y) ? r1(y,x);
3. 關(guān)系 r1?是關(guān)系 r2?和 r3?的組合:if?x,y,z : r2(x,y)?r3(y,z) ?r1(x,z)。
可以證明通過(guò)這種簡(jiǎn)單的旋轉(zhuǎn)操作可以有效地建模所有關(guān)系模式:例如關(guān)系 r 是對(duì)稱的當(dāng)且僅當(dāng)嵌入后的每個(gè)元素滿足;兩個(gè)關(guān)系 r1?和 r2?是互逆的當(dāng)且僅當(dāng)它們的嵌入是共軛關(guān)系(對(duì)稱相反,互相牽制):;關(guān)系是另外兩個(gè)關(guān)系和的組合當(dāng)且僅當(dāng),也就是。
具體的證明過(guò)程如下:
1. 引理 1:RotatE 可以推導(dǎo)對(duì)稱/反對(duì)稱模式:
證明:如果有? r(x,y)? 和? r(y,x),則:
否則:如果有? r(x,y) 和? r(y,x),則:
2. 引理 2:RotatE 可以推導(dǎo)逆模式:
證明:如果有 r1(x,y) 和 r2(y,x),則:
3. 引理 3:RotatE 可以推導(dǎo)組合模式:
證明:如果有 r1(x,z),r2(x,y) 和 r3(y,z),則:
與 TransE 模型的聯(lián)系:TransE 模型除了對(duì)稱模式可以建模其它所有的關(guān)系模式,因?yàn)樵?TransE 模型中對(duì)稱關(guān)系會(huì)被表示為 0,這將導(dǎo)致具有對(duì)稱關(guān)系的實(shí)體在嵌入空間中彼此靠近。
RotatE 模型解決了這個(gè)問(wèn)題:一個(gè)任意的向量 r,只要滿足都可以用于對(duì)稱關(guān)系,因此具有對(duì)稱關(guān)系的實(shí)體可以被區(qū)分,不同的對(duì)稱關(guān)系也可以被表示為不同的嵌入向量。例如,在一維嵌入下 TransE 和 RotatE 的示意圖如下:
與 ComplEx 模型的聯(lián)系:ComplEx 屬于語(yǔ)義匹配模型,RotatE 屬于基于距離的模型。現(xiàn)有的知識(shí)圖嵌入模型大致可分為平移 (轉(zhuǎn)換) 距離模型和語(yǔ)義匹配模型。前者度量事實(shí)作為兩個(gè)實(shí)體之間的翻譯 (轉(zhuǎn)換) 的可信性,而后者通過(guò)匹配實(shí)體和關(guān)系的潛在語(yǔ)義來(lái)度量事實(shí)的可信性。旋轉(zhuǎn)和復(fù)形屬于不同的類(lèi)。
實(shí)際上,可以發(fā)現(xiàn) ComplEx 與 RotatE 之間的關(guān)系類(lèi)似于 TransF 與 TransE 之間的關(guān)系,前者可以看作后者的一個(gè)松弛版本。另外 ComplEx 和 RotatE 之間最大的區(qū)別在于,RotatE 模型可以推斷關(guān)系的組成模式,而 ComplEx 模型不能。
與 TorusE 模型的聯(lián)系:TorusE 模型約束對(duì)象在環(huán)面上的嵌入,并將關(guān)系建模為平移,而 RotatE 模型將對(duì)象嵌入整個(gè)復(fù)雜向量空間,并將關(guān)系建模為旋轉(zhuǎn);TorusE 模型要求在緊湊的 Lie group 上嵌入對(duì)象,而 RotatE 模型允許在非緊湊的 Lie group 上嵌入對(duì)象,后者具有更大的表示能力。
TorusE 模型實(shí)際上非常接近該模型的一個(gè)特殊情況,即約束頭部的模和實(shí)體嵌入固定。另外:TorusE 論文和本文的動(dòng)機(jī)是完全不同的。TorusE 論文的目的是解決 TransE 的正則化問(wèn)題,而本文的重點(diǎn)是推斷和建模三個(gè)重要的關(guān)系模式
實(shí)驗(yàn)
數(shù)據(jù)集
使用四個(gè)廣泛使用的知識(shí)圖譜:
1. FB15k:Freebase 的子集,幾乎 81% 的測(cè)試三元組? (x,r,y)? 可以通過(guò)直接鏈接的三元組? (x,r',y)? 或? (y,r',x)? 推導(dǎo)出來(lái),因此在該數(shù)據(jù)集上鏈路預(yù)測(cè)的關(guān)鍵在于建模和推導(dǎo)“對(duì)稱”/“反對(duì)稱”和“逆”模式。
2. WN18:WordNet 的子集,這個(gè)數(shù)據(jù)集中有很多“逆”關(guān)系,所以在該數(shù)據(jù)集上的主要關(guān)系模式也是“對(duì)稱”/“反對(duì)稱”和“逆”。
3. FB15k-237:FB15k 的子集,將其中的逆關(guān)系刪除,因此該數(shù)據(jù)集上主要建模的模式是“對(duì)稱”/“反對(duì)稱”和“組合”關(guān)系。
4. WN18RR:WN18 的子集,刪除了“逆”關(guān)系,因此該數(shù)據(jù)集上主要的模式也是“對(duì)稱”/“反對(duì)稱”和“組合”關(guān)系。
超參數(shù)
使用網(wǎng)格搜索設(shè)置超參數(shù)的范圍:嵌入維度? k∈{125,250,500,1000},批量大小 b∈{512,1024,2048},自我對(duì)抗負(fù)采樣 α∈{0.5,1.0},固定間隔? γ∈{3,6,9,12,18,24,30},不需要進(jìn)行正則化,因?yàn)楣潭ㄩg隔 γ 可以防止模型過(guò)擬合。
評(píng)估
通過(guò)以下過(guò)濾設(shè)置評(píng)估鏈路預(yù)測(cè)的性能:將測(cè)試三元組與其它所有未出現(xiàn)在訓(xùn)練集、驗(yàn)證集、測(cè)試集中的候選三元組進(jìn)行排名,候選三元組通過(guò)替換頭尾實(shí)體生成?(h',r,t)?或?(h,r,t'),使用平均排名(MR)、平均倒數(shù)排名(MRR)和 H@N 作為評(píng)估標(biāo)準(zhǔn)。
基準(zhǔn)
除了 RotatE,提出該模型的一種變形作為基準(zhǔn)方法:即對(duì)實(shí)體嵌入添加約束,因此距離函數(shù)變?yōu)?#xff0c;使用變形模型 pRotatE 的目的是為了探索 RotatE 模型沒(méi)有模數(shù)的信息只有相位信息時(shí)是如何工作的
距離函數(shù)的推導(dǎo):
限制,可以重寫(xiě) h,r,t:?
因此距離函數(shù)變?yōu)?#xff1a;
此時(shí),如果在 TransE 模型中的嵌入是 h', r', t',令θh=ch',θr=ch',θt=ct',C=1/c,則,這就表明了 RotatE 可以弱化成 TransE。
除了該變形方法外,還與 TransE、DistMult、ComplEx、HolE 以及 ConvE 對(duì)比。
結(jié)果 1
任務(wù):鏈路預(yù)測(cè)
分析:
1. 在 FB15k 數(shù)據(jù)集上,主要的關(guān)系模式是對(duì)稱/反對(duì)稱和逆,ComplEx 比 TransE 表現(xiàn)更好,因?yàn)?ComplEx 可以推導(dǎo)這幾種關(guān)系,而 TransE 不能推導(dǎo)對(duì)稱模式;另外 DistMult 在該數(shù)據(jù)集上 H@10 結(jié)果最好,盡管它不能建模反對(duì)稱和逆模式。可能是由于在 FB15k 上的大多數(shù)關(guān)系,其頭實(shí)體和尾實(shí)體是不同的,盡管 DistMult 會(huì)給 (h,r,t) 和 (t,r,h) 相同的得分,(t,r,h)?不可能是有效的,因?yàn)?t 的實(shí)體類(lèi)型不匹配 h 的頭實(shí)體類(lèi)型。例如:(Obama, nationality, USA) 和 (USA, nationality, Obama) 會(huì)有相同的得分,但是 (USA, nationality, Obama) 可以很簡(jiǎn)單地被預(yù)測(cè)出是假的,因?yàn)?USA 不會(huì)是 nationality 的頭實(shí)體。
2. 在 WN18 數(shù)據(jù)集上,其他結(jié)果與 FB15k 相同,但是 DistMult 結(jié)果并沒(méi)有很好,因?yàn)樗旧聿荒芙7磳?duì)稱和逆模式,并且在該數(shù)據(jù)集上幾乎所有實(shí)體的單詞都屬于同一種實(shí)體類(lèi)型,與 FB15k 的情況不同。
3, 在 FB15k-237 數(shù)據(jù)集上,主要的關(guān)系模式是組合,可以看到 TransE 比 ComplEx 的結(jié)果要好,因?yàn)?TransE 是可以推導(dǎo)組合模式的,而 ComplEx 不能推導(dǎo)組合模式;
4. 在 WN18RR 上,主要的關(guān)系模式是對(duì)稱,因此 TransE 的結(jié)果不是很好。
另外:在 FB15k-237 和 WN18RR 上 pRotatE 比 RotatE 的結(jié)果差距更明顯,這也表明了模數(shù)對(duì)建模和推導(dǎo)“組合”關(guān)系更加重要。
結(jié)果 2
任務(wù):在 Countries 數(shù)據(jù)集上推導(dǎo)關(guān)系模式
Countries 數(shù)據(jù)集被設(shè)計(jì)用來(lái)顯示地測(cè)試用于“組合”模式建模和推理的鏈路預(yù)測(cè)的能力,它包含 2 種關(guān)系 (neighborOf、locatedIn),272 個(gè)實(shí)體(244 個(gè)國(guó)家,5 個(gè)地區(qū)和 23 個(gè)子地區(qū))。
和一般的知識(shí)圖譜中的鏈路預(yù)測(cè)不同,在該數(shù)據(jù)集上的查詢通常是這種形式:locatedIn(c,?),答案通常是 5 個(gè)地區(qū)之一。在該數(shù)據(jù)集上執(zhí)行 3 個(gè)任務(wù),每個(gè)任務(wù)都需要推導(dǎo)長(zhǎng)度和困難逐步增加的組合模式,例如:S2 任務(wù)要求推導(dǎo)以下組合模式:
S3 任務(wù)要求最復(fù)雜的關(guān)系模式推導(dǎo):
使用 AUC-PR 度量評(píng)估,結(jié)果如下:
結(jié)果?3
任務(wù):隱式關(guān)系模式推導(dǎo),忽略關(guān)系嵌入的具體位置,只通過(guò)繪制關(guān)系嵌入中每一個(gè)元素的相位直方圖表示結(jié)果。
對(duì)稱:該模式下要求關(guān)系具有性質(zhì):r°r=1,則結(jié)果為 ri=±1,在 WN18 上訓(xùn)練 500 維的 RotatE,下圖給出了關(guān)系 similar_to 的嵌入相位直方圖,可以發(fā)現(xiàn)嵌入相位是 π,0,2π,這也表明了 RotatE 模型可以很好的推導(dǎo)對(duì)稱模式;可以用 hypernym(上位詞-反對(duì)稱)作為一個(gè)補(bǔ)充反例。
逆:這種模式要求一對(duì)逆關(guān)系是共軛的,在WN18上訓(xùn)練模型,下圖是逆關(guān)系對(duì) r1=hypernym 和 r2=hyponym 的嵌入相位圖,兩者相位相加是 0 或 2π 就可以表示。
組合:這種模式要求組合關(guān)系的相位是另外兩個(gè)關(guān)系相位的加,在 FB15k-237 上訓(xùn)練 1000 維的 RotatE 模型,如下圖所示:
結(jié)果 4
任務(wù):比較不同的負(fù)采樣技術(shù),包括“均勻取樣”、“KBGAN 采樣(使用 ComplEx 作為負(fù)樣例生成器)”、“自我對(duì)抗采樣”。
使用基于間隔的排序準(zhǔn)則(margin-based ranking criterion)重新實(shí)現(xiàn)了 50 維的 TransE 模型,在 FB15k-237、WN18RR、WN18 上使用自我對(duì)抗負(fù)采樣技術(shù)評(píng)估性能:
為了進(jìn)一步證明 RotatE 的有效性,進(jìn)一步設(shè)置實(shí)驗(yàn):使用具有自我對(duì)抗負(fù)采樣技術(shù)的 TransE 和 ComplEx 與 RotatE 模型在相同的設(shè)置下進(jìn)行對(duì)比:
?
結(jié)果 5
進(jìn)一步研究 RotatE 模型在不同關(guān)系類(lèi)型上的性能:1-N、N-1 和 N-N。在 FB15k 的結(jié)果如下表:
?
其中除了 TransEh 和 ComplEx 方法,還添加了 KG2E_KL 方法進(jìn)行對(duì)比,它是一種知識(shí)圖嵌入方法的概率框架,旨在用 TransE 模型對(duì)知識(shí)圖中實(shí)體和關(guān)系的不確定性進(jìn)行建模,并且發(fā)現(xiàn)這種方法始終具有較好的性能,這也展示了在知識(shí)圖譜中建模不確定性的重要性。
總結(jié)
這篇論文方法很新穎,主要做出了以下幾點(diǎn)貢獻(xiàn):
1. 關(guān)注知識(shí)圖譜中的“關(guān)系”模式,不是關(guān)系路徑,將圖中的關(guān)系總結(jié)為了“對(duì)稱”“反對(duì)稱”、“逆”、“組合”三種關(guān)系模式;
2. 利用復(fù)數(shù)空間,將實(shí)體表示為負(fù)向量,關(guān)系表示為復(fù)向量空間中的“旋轉(zhuǎn)”,并且證明了“旋轉(zhuǎn)”可以完全匹配三種關(guān)系模式;
3. 另外將自我對(duì)抗負(fù)采樣技術(shù)與提出的模型相結(jié)合,得到了很好的實(shí)驗(yàn)結(jié)果。
4. 論文里給出的實(shí)驗(yàn)很全面,最后還驗(yàn)證了 RotatE 模型在多種關(guān)系類(lèi)型上的有效性。
我覺(jué)得還有一些不足之處:
1. 論文最后只給出了使用自我對(duì)抗負(fù)采樣技術(shù)的 RotatE 模型的實(shí)驗(yàn)結(jié)果,雖然也使用了具備自我對(duì)抗負(fù)采樣技術(shù)的其它方法進(jìn)行對(duì)比,但是沒(méi)有給出不具備這種負(fù)采樣技術(shù)的 RotatE 模型的實(shí)驗(yàn)結(jié)果,無(wú)法明確的比較使用“旋轉(zhuǎn)”的有效性。
2. 論文在分析幾種模型對(duì)三種關(guān)系模式的表達(dá)能力時(shí),對(duì) ComplEx 模型無(wú)法表達(dá)“組合”模式的解釋十分欠缺,因?yàn)?RotatE 模型和 ComplEx 模型都是在復(fù)空間中,所以希望對(duì)此有更充分的解釋。
3. 文中提到了“TorusE”模型,雖然解釋了兩篇論文的動(dòng)機(jī)不同,但是實(shí)驗(yàn)中沒(méi)有進(jìn)行對(duì)比。
點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容:?
圖神經(jīng)網(wǎng)絡(luò)綜述:模型與應(yīng)用
ACL 2019 | 基于知識(shí)增強(qiáng)的語(yǔ)言表示模型
ACL 2019 | 基于上下文感知的向量?jī)?yōu)化
基于小樣本學(xué)習(xí)的意圖識(shí)別冷啟動(dòng)
復(fù)旦大學(xué)邱錫鵬:詞法、句法分析研究進(jìn)展綜述
ACL 2019?| 句對(duì)匹配的樣本選擇偏差與去偏方法
深度長(zhǎng)文:NLP的巨人肩膀(上)
NLP 的巨人肩膀(下):從 CoVe 到 BERT
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體,縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢?答案就是:你不認(rèn)識(shí)的人。
總有一些你不認(rèn)識(shí)的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁,促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞,迸發(fā)出更多的可能性。
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人,在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容,可以是最新論文解讀,也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè),讓知識(shí)真正流動(dòng)起來(lái)。
??來(lái)稿標(biāo)準(zhǔn):
? 稿件確系個(gè)人原創(chuàng)作品,來(lái)稿需注明作者個(gè)人信息(姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向)?
? 如果文章并非首發(fā),請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā),均會(huì)添加“原創(chuàng)”標(biāo)志
? 投稿郵箱:
? 投稿郵箱:hr@paperweekly.site?
? 所有文章配圖,請(qǐng)單獨(dú)在附件中發(fā)送?
? 請(qǐng)留下即時(shí)聯(lián)系方式(微信或手機(jī)),以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通
?
現(xiàn)在,在「知乎」也能找到我們了
進(jìn)入知乎首頁(yè)搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域,歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點(diǎn)擊 |?閱讀原文?| 下載論文
總結(jié)
以上是生活随笔為你收集整理的ICLR 2019 | 基于复杂空间关系旋转的知识表示方法的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 岗位内推 | 微软亚洲互联网工程院自然语
- 下一篇: 为节约而生:从标准Attention到稀