轉(zhuǎn)載公眾號 | 愛奇藝技術(shù)產(chǎn)品團(tuán)隊?

---

2012年5月16日，谷歌首次正式提出了知識圖譜的概念，希望利用結(jié)構(gòu)化知識，來增強(qiáng)搜索引擎，提高搜索質(zhì)量和用戶體驗。

也就是說，從誕生之日起，知識圖譜就和搜索引擎密不可分。

隨著大數(shù)據(jù)時代的到來和人工智能技術(shù)的進(jìn)步，知識圖譜的應(yīng)用邊界被逐漸拓寬，越來越多的企業(yè)開始將知識圖譜技術(shù)融入其已經(jīng)成型的數(shù)據(jù)分析業(yè)務(wù)。目前知識圖譜已成為人工智能領(lǐng)域的重要分支，在搜索、自然語言處理、智能助手等領(lǐng)域發(fā)揮著重要作用。

愛奇藝搜索團(tuán)隊早在2015年就開始著手搭建自己的知識圖譜庫——奇搜知識圖譜庫。本文將講述奇搜知識圖譜的構(gòu)建過程，及其在愛奇藝搜索、NLP服務(wù)中的具體應(yīng)用。

01

什么是知識圖譜？

谷歌發(fā)布的文檔的描述中，知識圖譜是一種用圖模型來描述知識和建模世界萬物之間關(guān)聯(lián)關(guān)系的技術(shù)方法。本質(zhì)上，知識圖譜是一種揭示實體之間關(guān)系的語義網(wǎng)絡(luò)，可以對現(xiàn)實世界的事物及其相互關(guān)系進(jìn)行形式化地描述。

在知識圖譜里，我們通常用“實體（Entity）”來表達(dá)圖里的節(jié)點、用“關(guān)系（Relation）”來表達(dá)圖里的“邊”。實體指的是現(xiàn)實世界中的事物比如人、地名等，關(guān)系則用來表達(dá)不同實體之間的某種聯(lián)系，比如人-“居住在”-北京、張三和李四是“朋友”、邏輯回歸是深度學(xué)習(xí)的“先導(dǎo)知識”等等。

現(xiàn)實世界中的很多場景非常適合用知識圖譜來表達(dá)。 比如一個社交網(wǎng)絡(luò)圖譜里，我們既可以有“人”的實體，也可以包含“公司”實體。人和人之間的關(guān)系可以是“朋友”，也可以是“同事”關(guān)系。人和公司之間的關(guān)系可以是“現(xiàn)任職”或者“曾任職”的關(guān)系。

02

?奇搜知識圖譜的構(gòu)建

愛奇藝搜索（奇搜）作為國內(nèi)最大的視頻搜索引擎之一，致力于為用戶提供優(yōu)質(zhì)的全網(wǎng)視頻、娛樂領(lǐng)域的搜索服務(wù)。

當(dāng)傳統(tǒng)的文本檢索搜索方式不能滿足給用戶提供更為精準(zhǔn)和智能的搜索體驗的目標(biāo)時，為了豐富用戶視頻娛樂搜索結(jié)果、為了對用戶搜索意圖實現(xiàn)精準(zhǔn)理解與直觀回答，奇搜團(tuán)隊努力完善對視頻內(nèi)容的理解、對用戶意圖的理解，并在過程中構(gòu)建了以視頻領(lǐng)域為主的知識圖譜庫。

在經(jīng)歷幾個版本的迭代后，目前的奇搜知識圖譜的構(gòu)建流程主要分為知識表示與建模、知識獲取、知識融合、知識存儲、知識應(yīng)用（知識查詢與推理）幾個步驟和模塊，下面我們一一予以介紹。

2.1?知識表示和建模

構(gòu)建知識圖譜之前，首先需要確認(rèn)知識的建模表示方式。目前主要的知識建模方式有兩種：

（1）先為知識圖譜設(shè)計數(shù)據(jù)模式（schema），再依據(jù)設(shè)計好的數(shù)據(jù)模式進(jìn)行有針對性的數(shù)據(jù)抽取，這是自頂向下的數(shù)據(jù)建模方法；

（2）先進(jìn)行數(shù)據(jù)的收集和整理，再根據(jù)數(shù)據(jù)內(nèi)容總結(jié)、歸納其特點，提煉框架，逐步形成確定的數(shù)據(jù)模式，這是自底向上的數(shù)據(jù)建模方法。

愛奇藝奇搜知識圖譜的構(gòu)建采用的是自頂向下的建模方式，圖譜Schema定義基于RDF三元組、以及RDFS的規(guī)則。

RDF(Resource Description Framework)，即資源描述框架，實際上是一種數(shù)據(jù)模型，由一系列的陳述即“對象-屬性-值”三元組組成。

Triples：[S, P, O]?

RDF用Subject，Predicate，Object三元組與原陳述的三個部分聯(lián)系起來。

主體（subject）：聲明被描述的事物

謂詞（predicate）：這個事物的屬性

客體（object）：這個屬性的值

一個三元組就是一個關(guān)系。在RDF里我們可以聲明一些規(guī)則，從一些關(guān)系推導(dǎo)出另一些關(guān)系。這些規(guī)則我們稱為“schema”，所以有了 RDFS（RDF Schema）。這些規(guī)則用一些詞匯（可以類比編程語言里的保留字，不過RDF里任何詞匯都可以被重定義和擴(kuò)展）表示，如常用的規(guī)則subClassOf，表示父類子類的關(guān)系。

愛奇藝基于RDF/RDFS定義了圖譜的實體類型、關(guān)系（屬性）類型、以及實體本身的schema定義。如下圖中，Rules層，是一些基礎(chǔ)概念的定義，包括RDF/RDFS已有的定義及基于RDF/RDFS定義的、供實體類型/屬性定義使用的規(guī)則定義，該層規(guī)則的定義一般在確定后是不可變的。本體定義層，包括可實例化的實體類型（可繼承）和屬性（可繼承）的定義，如Thing，Person，wife，name等。實體層，保存在我們的實體庫中的具體實體。每一層定義在schema的表示語法上都是一致的。

為了幫助定義和使用圖譜schema（主要是上圖中的本體定義層），愛奇藝開發(fā)了一套schema系統(tǒng)來負(fù)責(zé)管理、解析奇搜知識圖譜的schema定義：

最終定義的實體類型的繼承關(guān)系片段示例如下圖：

2.2 知識獲取

在知識圖譜中，數(shù)據(jù)扮演著底部基石的作用。知識圖譜是源于數(shù)據(jù)的，是從數(shù)據(jù)中抽取結(jié)構(gòu)化信息，數(shù)據(jù)的好壞直接關(guān)系到知識圖譜構(gòu)建的效率和質(zhì)量。比如從結(jié)構(gòu)化的數(shù)據(jù)中構(gòu)建知識圖譜會比從非結(jié)構(gòu)化的數(shù)據(jù)中構(gòu)建效率和準(zhǔn)確率要高，數(shù)據(jù)越復(fù)雜，噪音越大，構(gòu)建成本也就越高。

知識獲取是構(gòu)建知識圖譜的核心與前提條件，也是自動構(gòu)建知識圖譜最關(guān)鍵的影響要素和重點研究領(lǐng)域。我們經(jīng)過各種嘗試后，目前奇搜知識圖譜的數(shù)量來源除去人工創(chuàng)建的數(shù)據(jù)外，主要有以下站內(nèi)、垂直網(wǎng)站與百度百科三種數(shù)據(jù)來源：

來源	優(yōu)勢	劣勢
站內(nèi)數(shù)據(jù)	結(jié)構(gòu)化好、類別明確、易于獲取	類型有限，且有的數(shù)據(jù)類型只是站內(nèi)已有的數(shù)據(jù)，并不是廣義上的知識類型
垂直網(wǎng)站數(shù)據(jù)	類別明確	獲取和解析成本高，數(shù)據(jù)質(zhì)量層次不齊
百度百科數(shù)據(jù)	數(shù)據(jù)量大，內(nèi)容豐富。是目前主要的數(shù)據(jù)來源	沒有分類信息，結(jié)構(gòu)不完全固定

2.2.1 實體分類

實體分類主要針對百度百科的數(shù)據(jù)，因為百度百科的數(shù)據(jù)沒有類別信息，需要先對詞條進(jìn)行實體類型的識別。具體實現(xiàn)是為每種實體類型訓(xùn)練一個實體分類器，準(zhǔn)確率可衡量，并且互不影響，可以快速拓展。

分類器的模型生成是通過啟發(fā)式方法，構(gòu)建基于規(guī)則池的分類器，生成訓(xùn)練數(shù)據(jù)，訓(xùn)練DNN模型（self-attention）文本分類模型，DNN分類器與規(guī)則分類器互相擴(kuò)充迭代（一到兩輪），最終線上使用規(guī)則分類器。生成過程中會用上百科詞條中的描述文本、infobox字段、超鏈接詞條、詞條標(biāo)簽等信息作為特征。

2.2.2 實體抽取

實體抽取是指從數(shù)據(jù)中的識別和抽取實體的屬性與關(guān)系信息。對不同類型與不同數(shù)據(jù)源分別開發(fā)屬性、關(guān)系抽取腳本進(jìn)行數(shù)據(jù)抽取，由易到難主要包括以下三類抽取方式：

（1）結(jié)構(gòu)化數(shù)據(jù)抽取：

大部分站內(nèi)、垂直網(wǎng)站的信息，以及部分百度百科的信息是結(jié)構(gòu)化的數(shù)據(jù)，這類數(shù)據(jù)的信息比較易于抽取。但因為源數(shù)據(jù)結(jié)構(gòu)和實體類型定義（即目標(biāo)數(shù)據(jù)結(jié)構(gòu)）多種多樣，為了提高開發(fā)效率，我們將結(jié)構(gòu)化數(shù)據(jù)的抽取過程進(jìn)行抽象，將抽取的流程寫成統(tǒng)一的框架，利用策略模式將抽取的具體規(guī)則用groovy腳本來實現(xiàn)。當(dāng)擴(kuò)展新的來源和目標(biāo)實體類型時，只需實現(xiàn)新的抽取腳本。

（2）半結(jié)構(gòu)化數(shù)據(jù)抽取：

百度百科中存在很多表格、列表等半結(jié)構(gòu)化信息，因為格式不完全規(guī)則，所以抽取有一定難度。但有的半結(jié)構(gòu)化信息中存在一些質(zhì)量較高的統(tǒng)計性的數(shù)據(jù)。對于這類數(shù)據(jù)，我們采用基于有監(jiān)督學(xué)習(xí)的包裝器歸納方法進(jìn)行抽取。

（3）文本數(shù)據(jù)挖掘：

百度百科以及站內(nèi)的描述等大量文本中也存在有很多寶貴的信息，對于這類數(shù)據(jù)的實體挖掘，需要借助NLP（自然語言處理）的手段。這里主要用到了我們的NLP團(tuán)隊提供的實體識別等服務(wù)。一方面通過實體鏈接服務(wù)把從文本中抽取得到的實體對象，鏈接到實體庫中對應(yīng)的正確實體對象，以挖掘文本中關(guān)系。另一方面利用實體識別技術(shù)來識別來挖掘文本中的實體。

2.3 知識融合

知識融合主要是實體對齊（Object Alignment），旨在發(fā)現(xiàn)具有不同ID但卻代表真實世界中同一對象的那些實體，并將這些實體歸并為一個具有全局唯一標(biāo)識的實體對象添加到知識圖譜中。

我們的實體數(shù)據(jù)有不同的來源，而且在同一來源中，也可能存在實際是同一實體的多條數(shù)據(jù)。

上圖是我們實體對齊的流程圖。首先我們所有來源的實體數(shù)據(jù)都會進(jìn)入原始實體庫（RawEntity庫），并且對原始表中的數(shù)據(jù)建立索引。當(dāng)一個原始實體rawEntity入最終實體庫之前，要在原始實體庫中找是否有其它原始實體和rawEntity實際上是同一個實體。步驟是首先在索引中根據(jù)名字、別名等字段查詢出若干個可能是相同實體的候選列表，這個步驟的目的是減少接下來流程的計算量。然后經(jīng)過實體判別模型，根據(jù)模型得分識別出待合并對齊的原始實體，最后經(jīng)過屬性融合模型，將各原始實體的屬性字段進(jìn)行融合，生成最終的實體。這個流程中的合并判斷模型實際上是通過機(jī)器學(xué)習(xí)訓(xùn)練生成的二分類器。

2.4 知識存儲

我們在線上使用的圖數(shù)據(jù)庫引擎選擇了JanusGraph。JanusGraph需要外部的存儲系統(tǒng)與外部索引系統(tǒng)的支持。所以我們借助公司云平臺的Hbase和ES集群，搭建了自己的JanusGraph分布式圖數(shù)據(jù)庫引擎，支持在線游走查詢服務(wù)。

03

奇搜知識圖譜的應(yīng)用

3.1 問答式搜索服務(wù)

基于圖數(shù)據(jù)庫引擎提供的查詢服務(wù)，以及NLP技術(shù)對用戶query的意圖理解，我們提供了多種類型的問答式搜索結(jié)果服務(wù)。包括明星、劇集的屬性類的查詢：XXX的生日、XXX劇的播出時間等，以及實體的關(guān)系類的查詢：明星的關(guān)系（如“王菲的前夫的女兒”）、劇集與明星/角色的關(guān)系（如“覺醒年代演員表”）、劇集間的關(guān)系（如“覺醒年代片花”）、以及各種關(guān)系的組合（如“小燕子扮演者還演過”）等等。如：

3.1.1 智能問答

3.1.2 關(guān)系查詢

3.1.3 劇集周邊

3.1.4 關(guān)系組合

3.2 基礎(chǔ)數(shù)據(jù)

奇搜知識圖譜的實體庫作為基礎(chǔ)數(shù)據(jù)被用于NLP團(tuán)隊提供的分詞和實體識別、意圖識別等服務(wù)，也在明星圖譜等業(yè)務(wù)場景下直接展示。

3.2.1 分詞實體識別

3.2.2 明星圖譜展示

3.3?標(biāo)簽挖掘

利用知識圖譜數(shù)據(jù)可以幫助建立和完善標(biāo)簽體系，以及挖掘視頻數(shù)據(jù)上的標(biāo)簽，同時標(biāo)簽體系也可以反過來豐富知識圖譜。

我們利用推理等技術(shù)對知識圖譜進(jìn)行挖掘。推理功能一般通過可擴(kuò)展的規(guī)則引擎來完成。包括屬性的推理，如根據(jù)出生年月推理出年齡、星座等屬性，以及關(guān)系的推理，如根據(jù)已有的妻關(guān)系子推理出反向丈夫關(guān)系，根據(jù)兒子的兒子鏈?zhǔn)疥P(guān)系推理出孫子關(guān)系等。

視頻上的標(biāo)簽與圖譜實體進(jìn)行映射之后，相似的推理過程也可用于視頻標(biāo)簽的擴(kuò)展，主要用到實體的上下位詞、屬于、包含等關(guān)系。

另外也可用Graph Embedding等技術(shù)擴(kuò)展同類型的關(guān)聯(lián)性強(qiáng)的實體。

下面是一些標(biāo)簽挖掘的線上應(yīng)用實例：

滑動查看更多

04

總結(jié)

以上是奇搜知識圖譜的構(gòu)建和在搜索中應(yīng)用的介紹。我們可以看出，經(jīng)過幾年的努力，奇搜知識圖譜已經(jīng)被打造成為了完備的娛樂行業(yè)知識圖譜庫。

傳統(tǒng)的視頻搜索通過為整段視頻添加文字標(biāo)簽，并與用戶搜索信息匹配完成搜索，搜索原理與傳統(tǒng)文字搜索相同。伴隨著奇搜知識圖譜的發(fā)展，全新的娛樂搜索功能給用戶帶來了更佳的搜索體驗。知識圖譜在幫助用戶精確找到想要的內(nèi)容、回答用戶問題、以及理解用戶搜索意圖方便都發(fā)揮了巨大的作用。隨著視頻內(nèi)容理解和視頻知識圖譜庫的不斷完善，未來，用戶觀看視頻將像使用文字一樣輕松便捷，對于視頻搜索、互動的想象空間也在不斷清晰。

近年來人工智能技術(shù)的飛速發(fā)展，給知識圖譜的應(yīng)用帶來了更多的可能性，我們也會在知識圖譜在搜索、推薦等領(lǐng)域的新的應(yīng)用進(jìn)行更多的探索。

---

?

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進(jìn)知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進(jìn)入 OpenKG 網(wǎng)站。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的领域应用 | 完备的娱乐行业知识图谱库如何建成？爱奇艺知识图谱落地实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。