歷時多年的研發(fā)，復(fù)旦大學知識工場實驗室正式推出大規(guī)模中文概念圖譜——CN-Probase，用于幫助機器更好的理解人類語言。概念圖譜中包含實體（比如“劉德華”）、概念（比如“演員”），實體與概念之間的類屬關(guān)系（又稱isA關(guān)系，比如 “劉德華 isA 演員”），概念與概念之間的 subclass of 關(guān)系（比如 “電影演員”是“演員”的子類）。通常后面兩類關(guān)系，又統(tǒng)稱為 isA 關(guān)系。如果 A isA B，通常稱A為B的下位詞（hyponym）,或者B為A的上位詞（hypernym）。

概念的形成是人類認知從具體進入抽象的第一步。人類通過概念認知世界，概念是人類認知世界的基石。概念是人腦對客觀事物本質(zhì)的反映，是思維活動的結(jié)果和產(chǎn)物，是思維活動借以開展的基本單元。比如“恐龍”這一概念讓我們能夠認知形形色色的恐龍，把握其共性本質(zhì)，而無需糾纏于不同特定恐龍的細微差別。建立概念分類體系，并為數(shù)以千萬計的實體建立概念圖譜，是我們在讓機器具備認知能力的征程中所邁出的至關(guān)重要的一步。

人類通過分類結(jié)構(gòu)（Taxonomy）來組織和表示概念。最早可以追溯到亞里士多德時代。隨后的幾千年來，人類一直在不斷完善概念的分類體系，并于近些年涌現(xiàn)了很多分類體系，如Cyc，WordNet等，這些概念分類體系大都由專家手工構(gòu)建，質(zhì)量精良，但是構(gòu)建代價高昂，規(guī)模有限。

現(xiàn)在知識工場采用自動的方法，基于CN-DBpedia以及海量中文網(wǎng)頁語料等多個數(shù)據(jù)源，構(gòu)建了大型中文概念知識圖譜——CN-Probase。針對中文語言的特性，采用了全新的抽取策略，達到質(zhì)和量的全面升級。

CN-Probase是由復(fù)旦大學知識工場實驗室研發(fā)并維護的大規(guī)模中文概念圖譜，是目前規(guī)模最大的開放領(lǐng)域中文概念圖譜和概念分類體系，isA關(guān)系的準確率在95%以上。相比較于其他概念圖譜，CN-Probase具有兩個顯著優(yōu)點：

一、規(guī)模巨大，基本涵蓋常見實體和概念。包含約1700萬實體、27萬概念和3300萬isA關(guān)系。

二、嚴格按照實體進行組織，有利于精準理解實體的概念。例如，“劉德華”這個名字，可能對應(yīng)很多叫“劉德華”的人，在CN-Probase里搜索“劉德華”，會出現(xiàn)按照典型性排序的很多實體，排在第一個的是大家提及名字都會聯(lián)想到的歌手“劉德華”。

有了CN-Probase，計算機就能像人類一樣具有常識。例如，計算機可以知道鯉魚和鯊魚都是魚，但鯉魚是一種淡水魚，而鯊魚是一種海水魚。

與此同時，CN-Probase還可以廣泛應(yīng)用于各種場景：

例一：搜索意圖理解

用戶搜索“西游記”，我們通過它的概念“中國古代四大名著”、“小說”可以理解用戶是在搜索小說類名著。對于用戶搜索意圖的精準理解可以進一步幫助改進檢索、排序與推薦。

例二：實體相似性判斷

當用戶需要判斷“復(fù)旦大學”和“上海交大”是否相似時，僅僅根據(jù)字面相似性，很難知道它們是相似實體。但是通過CN-Probase，我們可以看到它們的概念是差不多的（如下圖），從而可以判斷它們在語義上是相似的。

例三：可解釋實體推薦

當用戶先后搜索“復(fù)旦大學”、“上海交通大學”，“上海理工大學”時，我們?nèi)祟惪梢宰匀坏赝茢嘤脩羰窃谒阉魃虾８咝！Ｈ缃?#xff0c;機器通過檢索CN-Probase，發(fā)現(xiàn)這三個實體共享“上海高?！边@個概念，從而也可以準確識別用戶的搜索意圖，進一步推薦“上海外國語大學”，“同濟大學”等實體，并給出用戶是在搜索上海高校這一解釋。

目前，知識工場提供兩種方式訪問CN-Probase：

頁面直接訪問。進入http://kw.fudan.edu.cn/cnprobase即可訪問CN-Probase頁面。

API接口訪問。我們提供了全套數(shù)據(jù)訪問API，大家可以訪問http://kw.fudan.edu.cn/apis/cnprobase/ 查看具體訪問方法。

值此發(fā)布之際，特向大規(guī)模概念圖譜的“前輩們”，包括德國馬普研究所的Yago、微軟亞洲研究院的Probase、微軟的概念圖譜以及哈爾濱工業(yè)大學的大詞林，表示崇高的敬意。

點擊“閱讀原文”查看CN-Probase頁面

---

更多產(chǎn)品試用請點擊知識工場網(wǎng)站主頁：http://kw.fudan.edu.cn/

合作意向、反饋建議請聯(lián)系我們：

info.knowledgeworks@gmail.com

或直接聯(lián)系知識工場負責人肖仰華教授：

shawyh@fudan.edu.cn

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的大规模中文概念图谱CN-Probase正式发布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。