本文作者 | 張文（浙江大學(xué)）、黃志文（阿里巴巴）、葉橄強(qiáng)（浙江大學(xué)）、文博（浙江大學(xué)）、張偉（阿里巴巴），陳華鈞*（浙江大學(xué)）

接收會(huì)議 | ICDE2021

轉(zhuǎn)載公眾號(hào) | ZJUKG （歡迎轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)注明出處）

---

1. 文章導(dǎo)讀

本文介紹了浙江大學(xué)阿里巴巴知識(shí)引擎聯(lián)合實(shí)驗(yàn)室在結(jié)構(gòu)化知識(shí)預(yù)訓(xùn)練及電商領(lǐng)域應(yīng)用方面的工作。該項(xiàng)工作的一部分內(nèi)容將發(fā)表于ICDE2021。

知識(shí)廣泛存在于文本、結(jié)構(gòu)化及多種模態(tài)的數(shù)據(jù)中。除了通過(guò)抽取技術(shù)將知識(shí)從原始數(shù)據(jù)中萃取出來(lái)以支持搜索、問(wèn)答、推理、分析等應(yīng)用以外，另外一種思路是利用數(shù)據(jù)中本身存在的基本信號(hào)對(duì)隱藏的知識(shí)進(jìn)行預(yù)訓(xùn)練。隨著GPT、BERT、XLNET等預(yù)訓(xùn)練語(yǔ)言模型在多項(xiàng)自然語(yǔ)言處理領(lǐng)域任務(wù)上都刷新了之前的最好效果，預(yù)訓(xùn)練受到了各界的廣泛關(guān)注。預(yù)訓(xùn)練的核心思想是“預(yù)訓(xùn)練和微調(diào)”，例如文本預(yù)訓(xùn)練一般包含兩個(gè)步驟：首先利用大量的自然語(yǔ)言數(shù)據(jù)訓(xùn)練一個(gè)語(yǔ)言模型，獲取文本中包含的通用知識(shí)信息；然后在下游任務(wù)微調(diào)階段，針對(duì)不同下游任務(wù)，設(shè)計(jì)相應(yīng)的目標(biāo)函數(shù)，基于相對(duì)較少的監(jiān)督數(shù)據(jù)進(jìn)行微調(diào)，便可得到不錯(cuò)的效果。

受預(yù)訓(xùn)練語(yǔ)言模型啟發(fā)，我們將“預(yù)訓(xùn)練和微調(diào)”的思想應(yīng)用到了大規(guī)模商品知識(shí)圖譜的表示學(xué)習(xí)與業(yè)務(wù)應(yīng)用中。在阿里電商平臺(tái)，包含千億級(jí)三元組和300多萬(wàn)條規(guī)則的商品知識(shí)圖譜被構(gòu)建起來(lái)，并為語(yǔ)義搜索、智能問(wèn)答、商品推薦等眾多下游業(yè)務(wù)任務(wù)提供知識(shí)圖譜服務(wù)。通常知識(shí)圖譜提供服務(wù)的方式是直接透出原始的三元組數(shù)據(jù)，這會(huì)導(dǎo)致以下問(wèn)題：（1）針對(duì)不同任務(wù)反復(fù)地進(jìn)行數(shù)據(jù)選擇和查詢(xún)，存在大量冗余重復(fù)性工作；（2）下游任務(wù)需要針對(duì)自己的任務(wù)重新設(shè)計(jì)知識(shí)圖譜算法，從頭訓(xùn)練模型，由于圖譜規(guī)模龐大，業(yè)務(wù)應(yīng)用迭代周期過(guò)長(zhǎng)導(dǎo)致效率低下；（3）商品知識(shí)圖譜本身的不完整性會(huì)導(dǎo)致誤差傳導(dǎo)；（4）直接透出原始三元組存在數(shù)據(jù)公平性和隱私風(fēng)險(xiǎn)。

為了避免這個(gè)問(wèn)題，使商品知識(shí)圖譜更方便更有效地為下游任務(wù)服務(wù)，我們提出了“預(yù)訓(xùn)練+知識(shí)向量服務(wù)”的模式，并設(shè)計(jì)了知識(shí)圖譜預(yù)訓(xùn)練模型PKGM(Pre-trained Knowledge Graph Model)， 在不直接訪問(wèn)商品知識(shí)圖譜中三元組數(shù)據(jù)的情況下，以知識(shí)向量的方式為下游任務(wù)提供知識(shí)圖譜服務(wù)。我們?cè)谏唐贩诸?lèi)、同款商品對(duì)齊以及推薦等多個(gè)下游任務(wù)上驗(yàn)證了PKGM的有效性，其中在推薦任務(wù)上平均達(dá)到了 6%的提升，同時(shí)在實(shí)踐中我們還證明了在困難數(shù)據(jù)尤其是樣本較少的數(shù)據(jù)上提升效果更明顯。此外，在電商業(yè)務(wù)的真實(shí)實(shí)踐中，我們還將知識(shí)圖譜預(yù)訓(xùn)練應(yīng)用到了商品圖片分類(lèi)、用戶(hù)點(diǎn)擊預(yù)測(cè)等任務(wù)中，任務(wù)效果均獲得了提升。知識(shí)圖譜預(yù)訓(xùn)練對(duì)于具有億級(jí)別節(jié)點(diǎn)量級(jí)的阿里商品知識(shí)圖譜顯得極為重要，因?yàn)檫@能夠避免對(duì)龐大的商品知識(shí)圖譜重復(fù)訓(xùn)練，從而能夠更高效快速地為下游任務(wù)場(chǎng)景提供服務(wù)。

本文內(nèi)容較長(zhǎng)，特此在次放置后文章節(jié)的相關(guān)目錄。

另外因?yàn)槲⑿殴娞?hào)推文的功能限制，暫不支持目錄跳轉(zhuǎn)功能。

1. 文章導(dǎo)讀

2. 背景知識(shí)介紹

????2.1 預(yù)訓(xùn)練語(yǔ)言模型

????2.2 知識(shí)圖譜結(jié)構(gòu)化上下文

3. 商品知識(shí)圖譜靜態(tài)預(yù)訓(xùn)練模型

????3.1 PKGM預(yù)訓(xùn)練

????3.2 PKGM查詢(xún)模塊

????3.3 PKGM知識(shí)圖譜服務(wù)

????3.4 PKGM在下游任務(wù)的應(yīng)用

4. 商品知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練模型

????4.1 上下文模塊和整合模塊

????4.2 預(yù)訓(xùn)練階段和微調(diào)階段

5. 部分應(yīng)用實(shí)踐及實(shí)驗(yàn)結(jié)果

????5.1 基于知識(shí)圖譜預(yù)訓(xùn)練的商品分類(lèi)

????5.2 基于知識(shí)圖譜預(yù)訓(xùn)練的同款商品對(duì)齊

????5.3 基于知識(shí)圖譜預(yù)訓(xùn)練的商品推薦

6. 總結(jié)

7. 致謝

2. 背景知識(shí)介紹

2.1 預(yù)訓(xùn)練語(yǔ)言模型

人類(lèi)的語(yǔ)言是高度抽象且富含知識(shí)的，文本數(shù)據(jù)只是人類(lèi)大腦中信息處理后的一個(gè)載體，所以沉淀的文本數(shù)據(jù)本身具有大量有價(jià)值信息。互聯(lián)網(wǎng)上沉淀了大規(guī)模的自然文本數(shù)據(jù)，基于這些海量文本，我們可以設(shè)計(jì)自監(jiān)督訓(xùn)練任務(wù)，學(xué)習(xí)好的表示模型，然后將這些表示模型用于其他任務(wù)。基于這樣的思想，最近幾年提出的預(yù)訓(xùn)練語(yǔ)言模型（Pre-trained Language Model）在許多自然語(yǔ)言處理任務(wù)上都被證明有效，并且能夠顯著提升相關(guān)任務(wù)的實(shí)驗(yàn)結(jié)果。

預(yù)訓(xùn)練語(yǔ)言模型可以學(xué)習(xí)通用的語(yǔ)言表示，捕捉語(yǔ)言中內(nèi)含的結(jié)構(gòu)知識(shí)，特別是針對(duì)下游任務(wù)標(biāo)注數(shù)據(jù)量少的低資源場(chǎng)景，采用預(yù)訓(xùn)練+微調(diào)的模式，能夠帶來(lái)顯著的效果提升。預(yù)訓(xùn)練語(yǔ)言模型的輸入通常是一個(gè)文本序列片段，神經(jīng)編碼器會(huì)編碼輸入序列，針對(duì)每個(gè)輸入單元都會(huì)編碼得到對(duì)應(yīng)的向量表示。區(qū)別于傳統(tǒng)word2vec詞向量，預(yù)訓(xùn)練得到的向量表示是上下文相關(guān)的，因?yàn)橄蛄渴蔷幋a器根據(jù)輸入動(dòng)態(tài)計(jì)算得到，所以能夠捕捉上下文語(yǔ)義信息。

以BERT模型為例，預(yù)訓(xùn)練語(yǔ)言模型首先在大型數(shù)據(jù)集上根據(jù)一些無(wú)監(jiān)督任務(wù)進(jìn)行訓(xùn)練，包括下一個(gè)語(yǔ)句預(yù)測(cè)任務(wù)（Next Sentence Prediction，NSP）和掩碼語(yǔ)言模型任務(wù)（Masked Language Model），這個(gè)部分被稱(chēng)作預(yù)訓(xùn)練。接著在微調(diào)階段，根據(jù)后續(xù)下游任務(wù)，例如文本分類(lèi)、詞性標(biāo)注、問(wèn)答系統(tǒng)等，基于預(yù)訓(xùn)練好的語(yǔ)言模型進(jìn)行微調(diào)，使得BERT 模型無(wú)需調(diào)整結(jié)構(gòu)、只需調(diào)整輸入輸出數(shù)據(jù)和訓(xùn)練部分參數(shù)，就可以在不同的任務(wù)上達(dá)到很好的效果。圖1左側(cè)部分展示了BERT模型的預(yù)訓(xùn)練階段的結(jié)構(gòu)，右側(cè)部分展示了在多個(gè)不同數(shù)據(jù)集和任務(wù)上進(jìn)行微調(diào)的結(jié)構(gòu)示意圖。BERT模型具有很好的兼容性、擴(kuò)展性，并在多種自然語(yǔ)言處理下游任務(wù)上達(dá)到頂尖的實(shí)驗(yàn)效果。

圖1：BERT模型的預(yù)訓(xùn)練和微調(diào)過(guò)程的模型結(jié)構(gòu)示意圖?

預(yù)訓(xùn)練語(yǔ)言模型的優(yōu)點(diǎn)可被總結(jié)如下：

（1）對(duì)龐大的文本語(yǔ)料庫(kù)進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)通用語(yǔ)言表示形式并幫助完成下游任務(wù)。

（2）預(yù)訓(xùn)練提供了更好的模型初始化，通常可以帶來(lái)更好的泛化性能，并加快目標(biāo)任務(wù)的收斂速度。

（3）可以將預(yù)訓(xùn)練視為一種正則化，以避免對(duì)小數(shù)據(jù)過(guò)度擬合。

2.2?知識(shí)圖譜結(jié)構(gòu)化上下文

與文本預(yù)訓(xùn)練一樣，我們也可以利用知識(shí)圖譜中的結(jié)構(gòu)化上下文信息對(duì)知識(shí)圖譜中隱含的（結(jié)構(gòu)化）知識(shí)進(jìn)行預(yù)訓(xùn)練。

給定一個(gè)知識(shí)圖譜??，其中??是實(shí)體（Entity）的集合，??是關(guān)系（Relation）的集合，??是三元組（Triple）的集合。每個(gè)三元組??由頭實(shí)體（head）關(guān)系（relation）和尾實(shí)體（tail）構(gòu)成，于是這些三元組集合可以用符號(hào)表示為???，其中頭實(shí)體??和尾實(shí)體??都屬于集合??，關(guān)系??屬于集合??。

對(duì)于某個(gè)實(shí)體而言，那些包含了該實(shí)體若干個(gè)三元組的集合往往隱含這個(gè)實(shí)體豐富的結(jié)構(gòu)和語(yǔ)義特征，例如（姚明，性別是，男性）、（姚明，職業(yè)，籃球運(yùn)動(dòng)員），（中國(guó)籃球協(xié)會(huì)，主席是，姚明）等三元組能很好的刻畫(huà) 「姚明」這個(gè)實(shí)體。類(lèi)似地，對(duì)于某個(gè)特定的關(guān)系，知識(shí)圖譜中也擁有著豐富的包含了該關(guān)系的三元組集合。我們將其稱(chēng)為結(jié)構(gòu)化上下文三元組（Structure Contextual Triples）集合，或者簡(jiǎn)稱(chēng)為上下文三元組，并用符號(hào)表示為??，其中??表示某個(gè)實(shí)體或者某個(gè)關(guān)系。因此不難看出，在知識(shí)圖譜中有兩種類(lèi)型的上下文三元組：實(shí)體上下文三元組??和關(guān)系上下文三元組??。

實(shí)體上下文三元組??定義為那些包含實(shí)體??的三元組集合，無(wú)論這個(gè)實(shí)體??是某個(gè)三元組中的頭實(shí)體還是尾實(shí)體，只要包含了這個(gè)實(shí)體??的三元組都可以歸入這個(gè)集合。用符號(hào)語(yǔ)言來(lái)表示為：??

類(lèi)似地，關(guān)系上下文三元組定義為那些包含關(guān)系的三元組集合，可以表示為：???

?

圖2：知識(shí)圖譜中的上下文三元組

為了更直觀地展示上下文三元組在知識(shí)圖譜中的結(jié)構(gòu)，我們畫(huà)了一張簡(jiǎn)單的示意圖來(lái)描述，參看圖2。圖中的實(shí)心圓圈代表實(shí)體，與圓圈之間的短線代表關(guān)系。虛線框中的藍(lán)色圓圈、橙色圓圈和粉色短線，構(gòu)成了一個(gè)特定三元組，分別代表頭實(shí)體、尾實(shí)體和關(guān)系。對(duì)于頭實(shí)體??（藍(lán)色圓圈）來(lái)說(shuō)，他的上下文三元組??就是與藍(lán)色圓圈相連的三元組，即圖中用藍(lán)色短線連接起來(lái)的兩兩實(shí)體對(duì)組成的集合，同理，尾實(shí)體??的上下文三元組??即圖中用橙色短線連接起來(lái)的三元組集合。而對(duì)于關(guān)系??的上下文三元組??，圖中用平行的、粉色的短線來(lái)表示同一種關(guān)系，那么用這些粉色短線相連的三元組集合就是我們所期望的關(guān)系上下文三元組。

3.?商品知識(shí)圖譜靜態(tài)預(yù)訓(xùn)練模型

PKGM（Pre-traind Knowledge Graph Model, PKGM）是基于“預(yù)訓(xùn)練+知識(shí)向量服務(wù)”的思路提出的，目的是在連續(xù)向量空間中提供服務(wù)，使下游任務(wù)通過(guò)嵌入計(jì)算得到必要的事實(shí)知識(shí)，而不需要訪問(wèn)知識(shí)圖譜中的三元組。主要包含了兩個(gè)步驟，首先是商品知識(shí)圖譜預(yù)訓(xùn)練，目標(biāo)是使預(yù)訓(xùn)練后的模型具有進(jìn)行完整知識(shí)圖譜服務(wù)的能力，其次是以統(tǒng)一的方式為下游任務(wù)提供知識(shí)向量服務(wù)。

具體來(lái)說(shuō)，我們利用知識(shí)圖譜中的結(jié)構(gòu)化上下文信息進(jìn)行預(yù)訓(xùn)練，來(lái)為下游任務(wù)提供知識(shí)向量，利用知識(shí)圖譜增強(qiáng)下游任務(wù)的效果。知識(shí)圖譜靜態(tài)預(yù)訓(xùn)練模型的靜態(tài)體現(xiàn)在為下游任務(wù)提供是預(yù)訓(xùn)練好的知識(shí)圖譜嵌入向量表，通過(guò)實(shí)體或者關(guān)系的id能夠直接查詢(xún)獲取到其對(duì)應(yīng)的知識(shí)向量，可以直接在下游任務(wù)中運(yùn)用和參與計(jì)算。將預(yù)先訓(xùn)練好的商品知識(shí)圖譜模型作為知識(shí)增強(qiáng)任務(wù)的知識(shí)提供者，既能避免繁瑣的數(shù)據(jù)選擇和模型設(shè)計(jì)，又能克服商品知識(shí)圖譜的不完整性。

3.1 ?PKGM預(yù)訓(xùn)練

預(yù)訓(xùn)練知識(shí)圖譜模型上有兩種常見(jiàn)的查詢(xún)（Query）方式：

三元組查詢(xún)（Triple Query），在給定頭實(shí)體??、給定關(guān)系??條件下，查詢(xún)預(yù)測(cè)缺失的尾實(shí)體，于是該查詢(xún)?nèi)蝿?wù)可以簡(jiǎn)寫(xiě)為??。具體的，這個(gè)查詢(xún)?nèi)蝿?wù)體用SPARQL可以表示為：

關(guān)系查詢(xún)（Relation Query），用于查詢(xún)一個(gè)項(xiàng)目是否具有給定的關(guān)系或?qū)傩浴ｊP(guān)系查詢(xún)?nèi)蝿?wù)是對(duì)于給定的某一實(shí)體，查詢(xún)預(yù)測(cè)與該實(shí)體相連的關(guān)系，可以簡(jiǎn)寫(xiě)為??。該查詢(xún)?nèi)蝿?wù)體用SPARQL可以表示為：

因此，考慮到商品知識(shí)圖譜的不完整性問(wèn)題，預(yù)訓(xùn)練知識(shí)圖模型應(yīng)該能夠具有以下能力：

（1）對(duì)于某一實(shí)體，顯示該實(shí)體是否與其他實(shí)體之前存在某指定關(guān)系；

（2）給定頭實(shí)體和關(guān)系，查詢(xún)對(duì)應(yīng)的尾實(shí)體是什么；

（3）為給定的實(shí)體和關(guān)系，如果查詢(xún)不到尾實(shí)體，那么預(yù)測(cè)缺失的尾實(shí)體是什么。

經(jīng)過(guò)預(yù)訓(xùn)練，三元組查詢(xún)模塊和關(guān)系查詢(xún)模塊可以為任意給定的目標(biāo)實(shí)體提供知識(shí)服務(wù)向量。更具體地說(shuō)，一方面，關(guān)系查詢(xún)模塊為目標(biāo)實(shí)體提供包含不同關(guān)系存在信息的服務(wù)向量，如果目標(biāo)實(shí)體具有或應(yīng)該具有關(guān)系，則服務(wù)向量將趨于零向量；另一方面，三元組查詢(xún)模塊為目標(biāo)實(shí)體提供包含不同關(guān)系的尾實(shí)體信息的服務(wù)向量。

圖3：知識(shí)圖譜靜態(tài)預(yù)訓(xùn)練模型

對(duì)于預(yù)訓(xùn)練知識(shí)圖譜模型PKGM，在該模型預(yù)訓(xùn)練好的基礎(chǔ)上通過(guò)向量空間計(jì)算為其他任務(wù)提供向量知識(shí)服務(wù)，具體如圖3所示。在預(yù)訓(xùn)練（Pre-training）階段，首先會(huì)在在十億規(guī)模的商品知識(shí)圖譜上對(duì)模型進(jìn)行預(yù)訓(xùn)練，使預(yù)訓(xùn)練模型具備為三元組查詢(xún)和關(guān)系查詢(xún)提供知識(shí)信息的能力。在服務(wù)（Servicing）階段，對(duì)于需要實(shí)體知識(shí)的任務(wù)，PKGM提供包含其三元組信息的嵌入向量，然后將其應(yīng)用于基于嵌入的知識(shí)增強(qiáng)任務(wù)模型中。

3.2? PKGM查詢(xún)模塊

基于上述的關(guān)系查詢(xún)和三元組查詢(xún)這兩種查詢(xún)方式，可以構(gòu)建對(duì)應(yīng)的模塊和評(píng)分函數(shù)用于模型預(yù)訓(xùn)練，我們提出的PKGM主要包含了兩個(gè)查詢(xún)模塊：三元組查詢(xún)模塊和關(guān)系查詢(xún)模塊。

（1）三元組查詢(xún)模塊

對(duì)于某個(gè)三元組查詢(xún)??需求，三元組查詢(xún)模塊??會(huì)生成一個(gè)服務(wù)向量將用于表示候選尾部實(shí)體。在這里對(duì)于某個(gè)正確的三元組??，我們認(rèn)為在向量空間中頭實(shí)體??和關(guān)系??進(jìn)行組合可以轉(zhuǎn)化為尾實(shí)體??，并用評(píng)分函數(shù)??來(lái)表示。

自從知識(shí)圖譜表示學(xué)習(xí)方法被提出，將實(shí)體和關(guān)系映射到向量空間的方法被大量的實(shí)驗(yàn)證明是有效的，因此在三元組查詢(xún)模塊??中，采用了表示學(xué)習(xí)中相對(duì)簡(jiǎn)單而有效的TransE模型。每個(gè)實(shí)體??和每個(gè)關(guān)系??被編碼為嵌入向量，并用粗體字符表示，那么頭實(shí)體??、關(guān)系??和尾實(shí)體??對(duì)應(yīng)的嵌入向量可以表示為??、??和??。根據(jù)轉(zhuǎn)換模型的假設(shè)，對(duì)于每個(gè)正確的三元組??，存在??這樣的關(guān)系，其中這些嵌入向量都是??維的向量，表示為???，???和???。于是他們的評(píng)分函數(shù)可以表示為??

其中，??符號(hào)表示向量??的L1范數(shù)。對(duì)于正確的三元組，??之和越接近于??越好；相反地，對(duì)于錯(cuò)誤的三元組，??要盡可能遠(yuǎn)離??。

（2）關(guān)系查詢(xún)模塊

關(guān)系查詢(xún)模塊的核心是設(shè)計(jì)得分函數(shù)用于判斷頭實(shí)體是否具有某關(guān)系，為此我們?cè)O(shè)計(jì)對(duì)每個(gè)關(guān)系??定義了轉(zhuǎn)化矩陣??，若??具有以其為頭實(shí)體并以??為關(guān)系的三元組，??可以將??轉(zhuǎn)化為??，得分函數(shù)設(shè)計(jì)如下：??同理，若??不具有且不應(yīng)具有以其為頭實(shí)體并以??為關(guān)系的三元組，??應(yīng)盡可能遠(yuǎn)離??。

最終一個(gè)三元組的得分為：?

訓(xùn)練時(shí)我們采用了基于間隔的損失函數(shù)。

3.3??PKGM知識(shí)圖譜服務(wù)

經(jīng)過(guò)包含了上述兩個(gè)查詢(xún)模塊的訓(xùn)練后，可以利用知識(shí)圖譜預(yù)訓(xùn)練模型中的這些已經(jīng)訓(xùn)練好的模型參數(shù)，包括實(shí)體嵌入表示、關(guān)系嵌入表示和轉(zhuǎn)化矩陣?

?等，可以為特定任務(wù)提供兩類(lèi)對(duì)應(yīng)的知識(shí)服務(wù)：

（1）三元組查詢(xún)服務(wù)

給定頭實(shí)體??和關(guān)系??，三元組查詢(xún)服務(wù)可以給出預(yù)測(cè)的候選尾實(shí)體：?

如果??存在于知識(shí)圖譜??中，那么??會(huì)非常接近于尾實(shí)體向量??，如果知識(shí)圖譜中不存在包含??和??的三元組，那么??向量表示最有可能的尾實(shí)體的嵌入表示??。這在本質(zhì)上就是三元組補(bǔ)全，是被廣泛使用和驗(yàn)證的知識(shí)圖譜補(bǔ)全任務(wù)的具體形式。

（2）關(guān)系查詢(xún)服務(wù)

類(lèi)似于上述的三元組查詢(xún)服務(wù)，關(guān)系查詢(xún)服務(wù)能夠提供一個(gè)向量來(lái)表示實(shí)體是否存在包含輸入關(guān)系的三元組：?

如果知識(shí)圖譜中具有以為頭實(shí)體和以為關(guān)系的三元組，那么??；如果知識(shí)圖譜中沒(méi)有但應(yīng)該有以為頭實(shí)體和以為關(guān)系的三元組，那么??，如果知識(shí)圖譜中沒(méi)有且不應(yīng)該有以為頭實(shí)體和以為關(guān)系的三元組，??應(yīng)該遠(yuǎn)離零向量???。

為了讀者進(jìn)行清晰的對(duì)比，表1總結(jié)了三元組和關(guān)系模塊在不同階段的函數(shù)。

表1：PKGM在預(yù)訓(xùn)練和知識(shí)圖譜服務(wù)階段的函數(shù)

PKGM具有如下的優(yōu)勢(shì)：（1）基于向量空間的知識(shí)圖譜服務(wù)獨(dú)立于數(shù)據(jù)本身，避免了數(shù)據(jù)的直接暴露，有利于保護(hù)隱私數(shù)據(jù)；（2）以向量空間的知識(shí)圖譜服務(wù)代替三元組數(shù)據(jù)，對(duì)下游任務(wù)的模型具有更好的兼容性，能夠更簡(jiǎn)單快速地應(yīng)用于多種任務(wù)；（3）PKGM通過(guò)計(jì)算可以推理出知識(shí)圖譜中暫未包含但應(yīng)該存在的三元組，能夠極大地克服知識(shí)圖譜本身的不完整性。

3.4??PKGM在下游任務(wù)的應(yīng)用

在下游任務(wù)應(yīng)用中，給定一個(gè)實(shí)體??以及??個(gè)目標(biāo)關(guān)系，PKGM通過(guò)三元組知識(shí)圖譜服務(wù)和關(guān)系知識(shí)圖譜服務(wù)提供多個(gè)服務(wù)向量，可分別表示為：???和??，下面我們介紹將這些服務(wù)向量應(yīng)用于下游任務(wù)模型的方法，我們根據(jù)實(shí)體的表示個(gè)數(shù)將下游任務(wù)模型分為兩類(lèi)，一類(lèi)是序列嵌入向量模型，即實(shí)體具有多個(gè)向量輸入，另一類(lèi)是單個(gè)嵌入向量模型，即實(shí)體只具有一個(gè)向量輸入。

對(duì)于序列嵌入向量模型，一個(gè)實(shí)體的輸入可以表示為??，且采用的模型可能為序列模型，為了讓原有序列信息與服務(wù)向量產(chǎn)生充分的交互，我們建議直接在輸入序列后拼接服務(wù)向量得到??，并用??代替??輸入原下游任務(wù)模型，如圖4所示：

圖4：將服務(wù)向量添加到序列嵌入向量模型尾部的示意圖?

對(duì)于單個(gè)嵌入向量模型，我們將實(shí)體的輸入向量表示為??，考慮到單個(gè)原始輸入向量和多個(gè)服務(wù)向量之間的平衡，我們建議先將??和??融合為一個(gè)向量，可以采用拼接加平均池化的方法得到??，然后得到??，并用??代替??輸入原下游任務(wù)模型。如圖5所示：

圖5：將服務(wù)向量添加到單個(gè)嵌入向量模型的示意圖

4.?商品知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練模型

相對(duì)于靜態(tài)預(yù)訓(xùn)練模型僅能為下游任務(wù)提供已經(jīng)包含了結(jié)構(gòu)化信息的嵌入向量表（Embedding Table），知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練模型能夠根據(jù)下游任務(wù)的特征動(dòng)態(tài)調(diào)整模型結(jié)構(gòu)和模型參數(shù)，能夠根據(jù)下游任務(wù)對(duì)于知識(shí)圖譜中某些特征的傾向性進(jìn)行微調(diào)和適配，具有更好的兼容性和擴(kuò)展性。

4.1 上下文模塊和整合模塊

整個(gè)知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練模型主要由上下文模塊和整合模塊兩部分構(gòu)成，前者獲取目標(biāo)三元組的上下文三元組序列，并將每個(gè)上下文三元組的三個(gè)嵌入向量融合為一個(gè)向量，后者主要整合、交互學(xué)習(xí)上下文三元組向量序列，挖掘潛在的結(jié)構(gòu)性特征，利用得分函數(shù)計(jì)算三元組分類(lèi)任務(wù)的效果并用于訓(xùn)練。

（1）上下文模塊

上下文模塊（Contextual Module，C-Mod）中，給定一個(gè)目標(biāo)三元組??，可以通過(guò)上述章節(jié)對(duì)結(jié)構(gòu)化上下文信息的定義，得到該三元組的上下文三元組集合：??即該目標(biāo)三元組的頭實(shí)體??、關(guān)系??和尾實(shí)體??各自的上下文三元組的并集。

然后對(duì)于每一個(gè)上下文三元組??，例如目標(biāo)三元組的第??個(gè)上下文三元組??，需要將原本對(duì)應(yīng)的三個(gè)嵌入向量???、??和???編碼成一個(gè)向量??：?

其中，???表示向量??、??和??組成的序列，并且向量滿(mǎn)足???，??和??。

對(duì)于 C-Mod?中具體編碼方式，可以有多種選擇，比如簡(jiǎn)單的單層前饋神經(jīng)網(wǎng)絡(luò)。在這里選擇Transformer對(duì)向量序列進(jìn)行學(xué)習(xí)和融合編碼，而在將上下文三元組向量序列輸入到Transformer之前，需要在??序列之前加入特殊的標(biāo)記 [TRI]，生成得到一個(gè)新的序列??，該序列對(duì)應(yīng)的向量表示為??，其中??表示標(biāo)記 [TRI] 對(duì)應(yīng)的向量。在Transformer最后一層的該標(biāo)記 [TRI] 對(duì)應(yīng)位置上的向量為充分交互學(xué)習(xí)后融合了該三元組所有特征的向量，即向量??。那么，頭實(shí)體??、關(guān)系??和尾實(shí)體??各自的上下文三元組特征向量序列 seq?可以表示為：?

其中，???表示頭實(shí)體??、關(guān)系??或者尾實(shí)體??中的某個(gè)??的第??個(gè)上下文三元組特征向量，而??表示上下文三元組個(gè)數(shù)。

（2）整合模塊

整合模塊(Aggregation Module，A-Mod)將給定的一個(gè)目標(biāo)三元組??的上下文三元組向量序列 seq?整合編碼輸出為對(duì)應(yīng)的整合向量 a，即：?

為了增強(qiáng)目標(biāo)三元組??中每個(gè)元素對(duì)應(yīng)的上下文三元組在訓(xùn)練過(guò)程中的獨(dú)立性，給每個(gè)三元組特征向量都加上一個(gè)段向量。具體地，總共有三種段向量：??用于表示頭實(shí)體??對(duì)應(yīng)的上下文三元組的段向量，類(lèi)似地，對(duì)應(yīng)于關(guān)系??和尾實(shí)體??對(duì)應(yīng)的段向量??和??。將上下文三元組特征向量加上段向量后生成新的特征向量：

??

其中，??，那么三元組特征向量序列也更新為：?

??

同時(shí)在將??這三者的上下文三元組更新后的特征向量序列拼接在一起輸入到整個(gè)模塊之前，還需加入特定的標(biāo)記來(lái)進(jìn)一步區(qū)分他們?nèi)摺ｎ?lèi)似于上下文模塊的 [TRI]?標(biāo)簽，在這里引入 [HEA]、[REL]?和 [TAI]?標(biāo)簽，而他們對(duì)應(yīng)的向量表示為???、??和???，分別加入到頭實(shí)體??、關(guān)系??或者尾實(shí)體??的更新后的上下文三元組特征向量序列之前，得到更新后的輸入向量序列??：?

??

整合模塊用另一個(gè)不同參數(shù)的多層雙向Transformer來(lái)編碼學(xué)習(xí)輸入的向量序列???，并在訓(xùn)練結(jié)束后，取出最后一層Transformer中 [HEA]、[REL]和[TAI]標(biāo)簽對(duì)應(yīng)的向量??、???和???，表示經(jīng)過(guò)充分整合交互學(xué)習(xí)后、包含了豐富的知識(shí)圖譜結(jié)構(gòu)化信息的特征向量。

最后，將得到的這三個(gè)向量拼接并經(jīng)過(guò)一個(gè)全連接層，融合為一個(gè)統(tǒng)一的整合向量：?

??

其中，???表示將向量??、向量??和??向量拼接在一起，???是該整合模塊的權(quán)重矩陣，???是該整合模塊的偏置向量。

（3）評(píng)分函數(shù)和損失函數(shù)

根據(jù)上述的上下文模塊和整合模塊，對(duì)于目標(biāo)三元組???可以將評(píng)分函數(shù)定義為：?

??

其中，???是分類(lèi)權(quán)重矩陣，而經(jīng)過(guò) softmax?操作之后得到的??是二維向量，并且滿(mǎn)足預(yù)測(cè)為正確的得分??和預(yù)測(cè)為錯(cuò)誤的得分??之和為1，即：?

?

給定構(gòu)造好的正樣本三元組集合??和負(fù)樣本三元組集合??，可以基于評(píng)分??和標(biāo)簽??進(jìn)行交叉熵計(jì)算得到損失函數(shù)???：

???

其中，???是表示三元組??是否正確的標(biāo)簽，當(dāng)三元組??是正確的，或者??是正樣本三元組集合??的其中一個(gè)元素，那標(biāo)簽??為1，否則如果??是錯(cuò)誤的，標(biāo)簽??為0。

4.2??預(yù)訓(xùn)練階段和微調(diào)階段

類(lèi)似于自然語(yǔ)言處理中的預(yù)訓(xùn)練模型，知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練模型也包括預(yù)訓(xùn)練和微調(diào)兩個(gè)階段。預(yù)訓(xùn)練階段會(huì)對(duì)海量的數(shù)據(jù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，而微調(diào)階段就相對(duì)輕量，對(duì)特定任務(wù)和特定數(shù)據(jù)集，模型結(jié)構(gòu)上會(huì)有所改變進(jìn)行適配，并預(yù)訓(xùn)練階段模型參數(shù)的基礎(chǔ)上再次訓(xùn)練和微調(diào)，使之在特定任務(wù)上能更快地獲得更好的效果。

（1）預(yù)訓(xùn)練階段

在預(yù)訓(xùn)練（Pre-training）階段，動(dòng)態(tài)預(yù)訓(xùn)練模型利用三元組分類(lèi)任務(wù)進(jìn)行訓(xùn)練。三元組分類(lèi)任務(wù)是無(wú)監(jiān)督任務(wù)，基于數(shù)據(jù)庫(kù)中存在的三元組并將其視為正樣本，同時(shí)生成替換實(shí)體或者關(guān)系生成原本數(shù)據(jù)集中不存在的三元組作為負(fù)樣本，訓(xùn)練目標(biāo)為二分類(lèi)任務(wù)，即判斷該三元組是否正確。對(duì)于每一個(gè)輸入的三元組，預(yù)訓(xùn)練模型都獲取其上下文三元組并進(jìn)行采樣、聚合，通過(guò)三元組分類(lèi)任務(wù)訓(xùn)練學(xué)習(xí)得到其中的結(jié)構(gòu)化信息。預(yù)訓(xùn)練階段輸入的是三元組，而用輸出的嵌入向量來(lái)判斷三元組是正確的（True, T）還是錯(cuò)誤的（False，F），可以參看示意圖6。給定一個(gè)目標(biāo)三元組?

?，找到它的上下文三元組并通過(guò)上下文模塊和整合模塊（圖中橙色和玫紅色的兩個(gè)模塊）將它們輸入到知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練模型中，最后得到了聚合輸出表示向量。

圖6：動(dòng)態(tài)預(yù)訓(xùn)練模型結(jié)構(gòu)示意圖

預(yù)訓(xùn)練階段需要用到盡可能大的、甚至全量的知識(shí)圖譜數(shù)據(jù)集，這樣才能更好地學(xué)習(xí)到知識(shí)圖譜中深層次結(jié)構(gòu)化信息，才真正能夠幫助到下游任務(wù)。例如，BERT模型使用了包含八億個(gè)單詞的BooksCorpus數(shù)據(jù)集和二十五億個(gè)單詞的Wikipedia數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，然后兩個(gè)大小不同的模型，包括1.1億個(gè)參數(shù)的BERTBASE模型和3.4億個(gè)參數(shù)的BERTLARGE模型，分別都在在16個(gè)TPU上訓(xùn)練了四天才完成。

對(duì)于知識(shí)圖譜的數(shù)據(jù)集而言，難以構(gòu)造橫跨多個(gè)不同知識(shí)圖譜數(shù)據(jù)集的全量數(shù)據(jù)集，比如FB15k、WN18、YAGO等，甚至基于他們各自最原始的數(shù)據(jù)集Freebase和WordNet等都難以直接合并成一個(gè)數(shù)據(jù)集，因?yàn)槊總€(gè)數(shù)據(jù)集中的實(shí)體和關(guān)系都是以不同的文本和組織方式進(jìn)行構(gòu)建的，很難直接建立起不同數(shù)據(jù)集之間的聯(lián)系。當(dāng)然，我們還是找到了合適的方法去間接構(gòu)造起一個(gè)足夠大而豐富的知識(shí)圖譜預(yù)訓(xùn)練數(shù)據(jù)集：利用對(duì)真實(shí)世界描述的WordNet數(shù)據(jù)集，其中包含了名次、動(dòng)詞、形容詞和副詞等詞性的單個(gè)詞語(yǔ)，最大程度地反映真實(shí)場(chǎng)景和語(yǔ)言習(xí)慣，建立起不同知識(shí)圖譜數(shù)據(jù)集關(guān)聯(lián)的橋梁。而其他知識(shí)圖譜數(shù)據(jù)集中的實(shí)體或者關(guān)系往往是多個(gè)單詞構(gòu)成的，可以利用類(lèi)似于短語(yǔ)包含某些單詞的關(guān)系構(gòu)建起實(shí)體與實(shí)體之前的聯(lián)系，以及潛在類(lèi)似的關(guān)系。而在阿里電商知識(shí)圖譜上，可以直接利用海量商品的屬性和屬性值等三元組，用預(yù)訓(xùn)練模型學(xué)習(xí)商品知識(shí)圖譜的結(jié)構(gòu)化信息。商品知識(shí)圖譜足夠大，有著十億節(jié)點(diǎn)級(jí)別的商品和千億級(jí)別的三元組，足夠可以支撐起預(yù)訓(xùn)練的數(shù)據(jù)需求，并且能夠在下游任務(wù)中很好地發(fā)揮出預(yù)訓(xùn)練模型的作用。

（2）微調(diào)階段

在微調(diào)（Fine-tuning）階段中，模型的輸入輸出結(jié)構(gòu)會(huì)根據(jù)具體的任務(wù)和數(shù)據(jù)集特性進(jìn)行調(diào)整，同時(shí)將調(diào)整后的模型在特定數(shù)據(jù)集上進(jìn)行微調(diào)訓(xùn)練，最后得到符合該特定任務(wù)需求并有不錯(cuò)效果的模型。

例如，實(shí)體對(duì)齊任務(wù)的目標(biāo)是在真實(shí)世界中找到本質(zhì)上是同一個(gè)事物或者事件、而在輸入的知識(shí)圖譜數(shù)據(jù)集中有兩種或者多種表示的實(shí)體，比如中文語(yǔ)義下的實(shí)體對(duì)（漂亮的，美麗的）、（睡覺(jué)，睡眠）和（狗，犬）等，表達(dá)的是相同含義卻有不同的文字描述。在這個(gè)實(shí)體對(duì)齊任務(wù)上，模型的輸入從原來(lái)的三元組（head, relation, tail）變?yōu)轭^尾實(shí)體對(duì)（head, tail），即去掉了關(guān)系relation這一項(xiàng)元素，剩下前后兩個(gè)實(shí)體，而更進(jìn)一步地講，這兩個(gè)實(shí)體就是判斷是否具有相同含義的實(shí)體對(duì)（entity1, entity2）。相應(yīng)地，模型的輸出部分也需要替換為描述兩個(gè)實(shí)體是否對(duì)齊的訓(xùn)練函數(shù)，具體可以參考圖7(c)。

又如實(shí)體類(lèi)型預(yù)測(cè)任務(wù)，需要找到某個(gè)實(shí)體所屬的類(lèi)別，而這個(gè)類(lèi)別是存在于知識(shí)圖譜中的另一個(gè)實(shí)體，即預(yù)測(cè)（實(shí)體，實(shí)體類(lèi)型）中缺失的實(shí)體類(lèi)型。比如，（老虎，貓科動(dòng)物）、（中文，語(yǔ)言）和（T細(xì)胞，淋巴細(xì)胞）等實(shí)體類(lèi)型對(duì)。類(lèi)似于上述的實(shí)體對(duì)齊任務(wù)，實(shí)體類(lèi)型預(yù)測(cè)任務(wù)中的模型輸入也變?yōu)橐粋€(gè)實(shí)體對(duì)，而輸出部分是判斷這個(gè)實(shí)體類(lèi)型對(duì)是否正確的評(píng)分函數(shù)，參看圖7(b)。

圖7:在微調(diào)步驟中，圖中三個(gè)模型結(jié)構(gòu)對(duì)應(yīng)于三個(gè)不同的訓(xùn)練任務(wù)任務(wù)

5. 部分應(yīng)用實(shí)踐及實(shí)驗(yàn)結(jié)果

我們?cè)谌コ顺霈F(xiàn)次數(shù)較低的實(shí)體后的商品知識(shí)圖譜上對(duì)PKGM進(jìn)行了預(yù)訓(xùn)練。預(yù)訓(xùn)練完成后，我們?cè)诙鄠€(gè)對(duì)知識(shí)圖譜有需求的下游任務(wù)進(jìn)行效果驗(yàn)證，這包括商品分類(lèi)、同款商品對(duì)齊、商品推薦等以圖譜數(shù)據(jù)服務(wù)為基礎(chǔ)的任務(wù)，還包括可以利用知識(shí)圖譜增強(qiáng)效果的一些NLP任務(wù)，例如商品實(shí)體識(shí)別、商品屬性補(bǔ)齊和關(guān)系抽取、商品標(biāo)題生成等。在這里我們重點(diǎn)介紹了商品實(shí)體分類(lèi)、同款商品對(duì)齊、商品推薦三個(gè)任務(wù)。在實(shí)驗(yàn)中我們將只提供三元組服務(wù)向量的標(biāo)記為“PKGM-T”，只提供關(guān)系服務(wù)向量的標(biāo)記為“PKGM-R”，兩類(lèi)服務(wù)向量都提供的標(biāo)記為“PKGM-all”。?

5.1 基于知識(shí)圖譜預(yù)訓(xùn)練的商品分類(lèi)

億級(jí)的商品數(shù)據(jù)組織依賴(lài)于良好的類(lèi)目體系，因此商品分類(lèi)在阿里電商平臺(tái)是一項(xiàng)常見(jiàn)且重要的任務(wù)，其目標(biāo)是將給定的商品分類(lèi)于類(lèi)目中對(duì)應(yīng)的類(lèi)別。商品的標(biāo)題往往包含了密集的商品信息，因此也常用來(lái)作為商品分類(lèi)的原始信息，基于商品標(biāo)題，商品分類(lèi)任務(wù)可對(duì)應(yīng)為文本多分類(lèi)任務(wù)，鑒于目前語(yǔ)言預(yù)訓(xùn)練模型在文本分類(lèi)任務(wù)上取得了很好的效果，我們將BERT作為基準(zhǔn)模型。圖8左側(cè)是基準(zhǔn)模型BERT，右側(cè)是PKGM增強(qiáng)的BERT模型，這里采用了為序列嵌入向量模型提供知識(shí)圖譜服務(wù)的方式。

圖8：商品分類(lèi)任務(wù)模型

我們分別在3個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，每個(gè)數(shù)據(jù)集中每個(gè)類(lèi)別最多具有的商品個(gè)數(shù)最多分別不超過(guò)100、50以及20，實(shí)驗(yàn)結(jié)果如表2：

表2：商品分類(lèi)任務(wù)的結(jié)果

從實(shí)驗(yàn)結(jié)果中可以看到，在預(yù)測(cè)準(zhǔn)確率和Hit@k指標(biāo)上，融入了知識(shí)圖譜服務(wù)向量的模型??在這三個(gè)數(shù)據(jù)集上都要優(yōu)于基準(zhǔn)模型???。具體來(lái)說(shuō)，一方面，同時(shí)融入了兩種服務(wù)向量的??模型在Hit@1指標(biāo)上都有最好的效果；而另一方面，在Hit@3、Hit@10和預(yù)測(cè)準(zhǔn)確率這三個(gè)指標(biāo)上，??和??這兩個(gè)模型有較好的效果而且他們中的其中一個(gè)能達(dá)到特定條件下的最好實(shí)驗(yàn)效果，這證明了PKGM所提供服務(wù)向量的有效性。?

5.2 基于知識(shí)圖譜預(yù)訓(xùn)練的同款商品對(duì)齊

由于商品來(lái)源不同，對(duì)齊同款商品成為了增加數(shù)據(jù)有效性的重要的任務(wù)，其目標(biāo)是判斷給定的兩個(gè)商品是否為同款商品。商品信息用標(biāo)題表示，這個(gè)任務(wù)可對(duì)應(yīng)于同義句識(shí)別，我們選取BERT作為基準(zhǔn)模型，左側(cè)是基準(zhǔn)模型BERT，右側(cè)是PKGM增強(qiáng)的BERT模型，如圖9所示。

圖9：商品對(duì)齊任務(wù)模型

我們?cè)谂b襯衫(category-1)、頭發(fā)飾品(category-2)和兒童襪類(lèi)(category-3)上分別進(jìn)行了實(shí)驗(yàn)，每個(gè)數(shù)據(jù)集中都有上千個(gè)同款商品對(duì)。同款商品判斷準(zhǔn)確率如表3所示：

表3：商品對(duì)齊任務(wù)的準(zhǔn)確率指標(biāo)結(jié)果

可以很明顯的看出來(lái)，??模型在三個(gè)數(shù)據(jù)集都有著最好的效果，有效提升了同款商品識(shí)別的效果。

5.3 基于知識(shí)圖譜預(yù)訓(xùn)練的商品推薦

推薦是除了搜索以外將適合的商品呈現(xiàn)在用戶(hù)面前的重要方式，因此商品推薦也是一項(xiàng)重要的任務(wù)，我們針對(duì)預(yù)測(cè)商品和用戶(hù)交互的下游任務(wù)進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)中以用戶(hù)和商品的交互記錄圖作為輸入并預(yù)測(cè)潛在的交互，是典型的鏈接預(yù)測(cè)任務(wù)。我們采用了神經(jīng)協(xié)同過(guò)濾算法（Neural Collaborative Filtering，NCF）作為基準(zhǔn)模型，圖10左側(cè)是基準(zhǔn)模型NCF，右側(cè)是PKGM增強(qiáng)的NCF模型，這里采用了為單個(gè)嵌入向量模型提供知識(shí)圖譜服務(wù)的方式。

圖10：商品推薦任務(wù)的模型圖

我們?cè)趤?lái)自淘寶的包含約4萬(wàn)商品和3萬(wàn)用戶(hù)的44萬(wàn)交互記錄的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并采用了“l(fā)eave one out”的方法進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果如表4所示：

表4：商品推薦任務(wù)的實(shí)驗(yàn)結(jié)果

我們可以看出，所有的知識(shí)增強(qiáng)模型相對(duì)于基準(zhǔn)模型在所有評(píng)價(jià)指標(biāo)上均有效果提升，提升的結(jié)果證明了PKGM能夠有效提供僅從用戶(hù)-商品交互不能分析出的額外信息。

6. 總結(jié)

將知識(shí)預(yù)先訓(xùn)練好，然后融入到各種深度模型或下游任務(wù)中或許是未來(lái)知識(shí)圖譜數(shù)據(jù)應(yīng)用方式的一種新的發(fā)展趨勢(shì)。本文介紹了我們?cè)诖笠?guī)模知識(shí)圖譜預(yù)訓(xùn)練及電商應(yīng)用的初步實(shí)踐，通過(guò)三元組和關(guān)系模塊的設(shè)計(jì)，讓PKGM模型具有在向量空間為下游任務(wù)提供知識(shí)圖譜服務(wù)的能力，具有較好的知識(shí)圖譜數(shù)據(jù)保護(hù)性以及對(duì)下游任務(wù)的兼容性，同時(shí)克服了知識(shí)圖譜本身的不完整性。我們?cè)诙鄠€(gè)典型的電商任務(wù)上證明了PKGM的有效性，本文限于篇幅，許多實(shí)驗(yàn)細(xì)節(jié)及分析未過(guò)多贅述，有興趣的同學(xué)可以閱讀原文。本文所介紹的部分內(nèi)容發(fā)表于ICDE2021。論文中只包含了一部分實(shí)踐內(nèi)容，若您對(duì)大規(guī)模知識(shí)圖譜預(yù)訓(xùn)練感興趣，歡迎關(guān)注我們后續(xù)的工作。

7. 致謝

除本文作者以外，參與過(guò)商品知識(shí)圖譜預(yù)訓(xùn)練工作的同學(xué)還包括浙江大學(xué)的鄧淑敏、朱渝珊、周虹廷等，以及阿里巴巴的陳輝、鈄懷嘯等，謝謝你們對(duì)本項(xiàng)工作的支持和付出。

?

---

?

OpenKG

開(kāi)放知識(shí)圖譜（簡(jiǎn)稱(chēng) OpenKG）旨在促進(jìn)中文知識(shí)圖譜數(shù)據(jù)的開(kāi)放與互聯(lián)，促進(jìn)知識(shí)圖譜和語(yǔ)義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的技术实践 | ICDE2021-大规模知识图谱预训练及电商应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。