這篇paper展示了一種從預(yù)訓(xùn)練的語言模型（例：BERT，GPT-2/3）通過無監(jiān)督訓(xùn)練構(gòu)建知識圖譜（KGs）的idea，想法還是很新奇的，搭建了LM（Language Model）和KG（Knowledge Graph）之間的橋梁。
?

知識圖譜的基本單位，是“實體（Entity）-關(guān)系（Relationship）-實體（Entity）”構(gòu)成的三元組，這也是知識圖譜的核心。
?

構(gòu)建知識圖譜是一個迭代更新的過程，根據(jù)知識獲取的邏輯，每一輪迭代包含：知識儲存、信息抽取、知識融合、知識計算，四個階段。

知識存儲： 針對構(gòu)建知識圖譜設(shè)計底層的存儲方式，完成各類知識的存儲，包括基本屬性知識、關(guān)聯(lián)知識、事件知識、時序知識、資源類知識等。存儲方式的憂慮將直接導(dǎo)致查詢效率和應(yīng)用效果。

信息抽取： 從各種類型的數(shù)據(jù)源中提取出實體、屬性以及實體間的相互關(guān)系，在此基礎(chǔ)上形成本體化的知識表達。

知識融合： 在獲得新知識之后，需要對其進行整合，以消除矛盾和歧義，比如某些實體可能有多種表達，某個特定稱謂也許對應(yīng)于多個不同的實體等；

知識計算： 對于經(jīng)過融合的新知識，需要經(jīng)過質(zhì)量評估之后（部分需要人工參與甄別），才能將合格的部分加入到知識庫中，以確保知識庫的質(zhì)量。

?

可以發(fā)現(xiàn)，傳統(tǒng)KG的建立需要大量的人工參與，由人工手動添加規(guī)則和知識。現(xiàn)在比較通用的KGs（Wikidata、NELL）都是以監(jiān)督或半監(jiān)督的方式構(gòu)建的，還是需要人類創(chuàng)建知識。
?

隨著NLP的迅速發(fā)展，BERT，GPT-2/3等大型預(yù)訓(xùn)練LM從大規(guī)模語料庫中自動獲取知識，蘊含的語言知識能夠很好地改進下游的NLP任務(wù)，這篇paper就提出了一種以無監(jiān)督的方法將LM中包含的知識生成KGs的方法。
?

paper中設(shè)計一種名叫MAMA的無監(jiān)督方法，通過在文本語料庫上對預(yù)訓(xùn)練過的LM進行一次前向傳播來生成KG的基本單位，也就是實體-關(guān)系-實體的三元組。MAMA有兩個階段：Match和Map，Match階段通過將文本語料庫中的facts與預(yù)訓(xùn)練LM中的知識進行匹配，生成一組candidate facts，Map階段通過將candidate facts映射到fixed KG schema和open schema生成open KG。
?

Match

Match階段的目標(biāo)就是將預(yù)訓(xùn)練的LM中存儲的知識與語料庫中的facts進行匹配，每個facts都被表示為一個triplet (head, relation, tail)。


Match設(shè)計了一個beam search用來匹配candidate facts，對于一個句子中的每一個(h, t)，根據(jù)attention matrix保持對k-best的匹配。

Map

Map階段將Match階段匹配的candidate facts生成一個open KG，其中包括兩個部分：a) 映射在fixed schema中的candidate facts，b) open schema中未映射的candidate facts。
?

參考文獻

知乎：ICLR2020-LANGUAGE MODELS ARE OPEN KNOWLEDGE GRAPHS

知乎：知識圖譜構(gòu)建流程詳解?

總結(jié)

以上是生活随笔為你收集整理的LANGUAGE MODELS ARE OPEN KNOWLEDGE GRAPHS —— 读后总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。