基于特征學(xué)習(xí)的文本大數(shù)據(jù)內(nèi)容理解及其發(fā)展趨勢

袁書寒，向　陽，鄂世嘉

（同濟(jì)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 上海 201804）

摘要：大數(shù)據(jù)中蘊(yùn)含著重要的價(jià)值信息，文本大數(shù)據(jù)作為大數(shù)據(jù)的重要組成部分，是人類知識(shí)的主要載體。特征作為數(shù)據(jù)內(nèi)在規(guī)律的反映，將文本大數(shù)據(jù)映射到反映數(shù)據(jù)本質(zhì)的特征空間是文本大數(shù)據(jù)語義理解的重要手段。介紹了文本大數(shù)據(jù)的特征表示、特征學(xué)習(xí)，進(jìn)而梳理了特征學(xué)習(xí)在文本大數(shù)據(jù)內(nèi)容理解中的進(jìn)展，最后闡述了基于特征學(xué)習(xí)的文本大數(shù)據(jù)內(nèi)容理解未來的發(fā)展趨勢。

關(guān)鍵詞：文本大數(shù)據(jù)；特征學(xué)習(xí)；內(nèi)容理解

doi: 10.11959/j.issn.2096-0271.2015030

Text Big Data Content Understanding and Development Trend Based on Feature Learning

Yuan Shuhan, Xiang Yang, E Shijia

(Department of Computer Science and Technology, Tongji University, Shanghai 201804, China)

Abstract: Big data contains important value information. Text big data as an important part of big data is the main carrier of human knowledge. Feature represents the inherent law of the data. Mapping the text big data to its feature space which reflects the nature of data is an important method to understand the semantic meaning of the text. Text big data feature representations and feature learning were reviewed. Then the progress of feature learning used in text content understanding was presented. Finally, the future development trends of big text data content understanding were discussed.

Key words: text big data, feature learning,content understanding

---

論文引用格式：袁書寒，向陽，鄂世嘉.基于特征學(xué)習(xí)的文本大數(shù)據(jù)內(nèi)容理解及其發(fā)展趨勢.大數(shù)據(jù)，2015030

Yuan S H, XiangY, E S J. Text big data content understanding and development trend based on feature learning. Big Data Research, 2015030

---

1 引言

近年來，隨著互聯(lián)網(wǎng)、云計(jì)算、社交網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)空間中的信息總量在飛速膨脹，網(wǎng)絡(luò)大數(shù)據(jù)時(shí)代已經(jīng)到來。如何充分挖掘大數(shù)據(jù)中蘊(yùn)含的價(jià)值成為全社會(huì)共同關(guān)注的話題。

在20世紀(jì)90年代，數(shù)據(jù)倉庫之父比爾·恩門（Bill Inmon）提出數(shù)據(jù)倉庫的概念，激活了沉睡在數(shù)據(jù)庫中多年的歷史數(shù)據(jù)，使之用于數(shù)據(jù)分析與決策支持，以挖掘出隱藏在數(shù)據(jù)背后的有價(jià)值信息。而在大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)每分鐘都在產(chǎn)生大量的數(shù)據(jù)，YouTube每分鐘內(nèi)上傳的視頻長達(dá)72 h，Facebook上每分鐘共分享了多達(dá)246萬條信息，Instagram每分鐘可產(chǎn)生21萬張新照片；在數(shù)據(jù)快速增長、數(shù)據(jù)類型多樣、數(shù)據(jù)結(jié)構(gòu)復(fù)雜的背景下，傳統(tǒng)的基于靜態(tài)、淺層的數(shù)據(jù)分析方法，已經(jīng)無法適應(yīng)當(dāng)前越來越多的對數(shù)據(jù)語義深層理解和計(jì)算應(yīng)用的需求。因此，大數(shù)據(jù)的分析、挖掘成為學(xué)術(shù)界、工業(yè)界共同的研究熱點(diǎn)。

文本大數(shù)據(jù)是網(wǎng)絡(luò)大數(shù)據(jù)的重要組成部分，人們?nèi)粘９ぷ骱蜕钪薪佑|最多的電子文檔也是以文本的形式存在。從海量文本數(shù)據(jù)中挖掘有價(jià)值的信息、知識(shí)，一直都是學(xué)術(shù)界研究的熱點(diǎn)問題，但是文本大數(shù)據(jù)的復(fù)雜性和規(guī)模性，導(dǎo)致傳統(tǒng)的全量數(shù)據(jù)模式下對文本進(jìn)行分析變得異常困難。挖掘海量文本數(shù)據(jù)的特征是降低計(jì)算時(shí)空復(fù)雜性、實(shí)現(xiàn)文本語義理解的重要手段。

本文主要介紹近年來伴隨特征學(xué)習(xí)技術(shù)的發(fā)展，對海量文本數(shù)據(jù)特征發(fā)現(xiàn)，進(jìn)而實(shí)現(xiàn)語義理解方面所取得的新進(jìn)展。

2 文本大數(shù)據(jù)特征

人類是通過識(shí)別出物體的特征來認(rèn)識(shí)不同的物體的，因此，特征作為數(shù)據(jù)本質(zhì)的反映是理解數(shù)據(jù)的重要手段。將文本大數(shù)據(jù)映射到其特征空間，首先需要確定文本大數(shù)據(jù)的特征表示方式，正如不同的人認(rèn)識(shí)同一物體時(shí)，會(huì)以不同的方式抽象物體的特征，特征表示方式也不盡相同，但是一個(gè)良好的特征表示方式是保證特征可理解、可計(jì)算的基礎(chǔ)；在確定了特征表示方式的基礎(chǔ)上，從文本大數(shù)據(jù)中學(xué)習(xí)能夠精確表達(dá)文本語義的特征是實(shí)現(xiàn)內(nèi)容理解的關(guān)鍵。

2.1 特征表示

由于文本大數(shù)據(jù)的多源異構(gòu)性，實(shí)現(xiàn)海量文本的內(nèi)容理解首先需要將非結(jié)構(gòu)化的文本數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可操作的結(jié)構(gòu)化模型，文本特征表示將文本信息映射到計(jì)算機(jī)可理解的特征空間，從而為計(jì)算機(jī)理解文本語義提供基礎(chǔ)。在文本數(shù)據(jù)分析領(lǐng)域，傳統(tǒng)的算法依賴人工定義反映輸入數(shù)據(jù)性質(zhì)的特征作為模型的輸入，而為了盡可能地反映自然語言規(guī)律，提高算法的準(zhǔn)確性，人工定義特征往往數(shù)量十分龐大，通常這一步驟稱作特征工程。為了生成大量的特征，特征工程首先定義一系列的特征模板（feature template），利用特征模板進(jìn)一步產(chǎn)生語言的特征。例如，在語言模型的研究中，定義三元特征模板（trigram feature template），對于訓(xùn)練語料庫中出現(xiàn)的任意三元組（u，v，w），若在出現(xiàn)詞語u、v的情況下，出現(xiàn)詞語w，則該特征為1；類似地，還可以定義二元特征模板、一元特征模板或詞語前綴模板等。

從特征模板的定義可以看出，最終生成的特征可以高達(dá)數(shù)十萬甚至數(shù)百萬級別，這也導(dǎo)致人工定義的特征十分稀疏，只有極少部分的特征為非0值，而當(dāng)測試語料中出現(xiàn)訓(xùn)練數(shù)據(jù)中沒有的特征時(shí)，將訓(xùn)練數(shù)據(jù)產(chǎn)生的特征應(yīng)用于測試數(shù)據(jù)，效果并不理想；且人工定義特征在面對特定任務(wù)時(shí)，通常存在過度細(xì)化的問題，而面對海量數(shù)據(jù)時(shí)，又存在表示不足的問題。

近年來，表示學(xué)習(xí)（representation learning）或非監(jiān)督的特征學(xué)習(xí)（unsupervised feature learning）由于其可以自動(dòng)地發(fā)現(xiàn)數(shù)據(jù)特征，從而有效地避免繁瑣的人工參與，成為重要的研究方向。深度學(xué)習(xí)作為特征學(xué)習(xí)的主要手段，不僅可以利用海量訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)分類、回歸等傳統(tǒng)機(jī)器學(xué)習(xí)的目標(biāo)，還可以在模型的訓(xùn)練過程中產(chǎn)生層次化的抽象特征，該特征表示是提高訓(xùn)練準(zhǔn)確性的重要基礎(chǔ)。圖1^[1]對比了傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在實(shí)現(xiàn)步驟上的不同。

圖 1 深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)步驟對比

一般而言，特征學(xué)習(xí)的目的在于學(xué)習(xí)一種數(shù)據(jù)的轉(zhuǎn)換方式，用于從數(shù)據(jù)中抽取有效的特征信息，最終使得數(shù)據(jù)的分類、預(yù)測更加準(zhǔn)確，而有價(jià)值的特征信息應(yīng)該滿足表達(dá)性、抽象性、排他性等要求^[2]。

（1）表達(dá)性

表達(dá)性是指合理大小的特征應(yīng)該能夠有效表示足夠大的輸入數(shù)據(jù)。傳統(tǒng)的文本數(shù)據(jù)理解以one-hot的形式表示，n維的空間只能表示n個(gè)特征。分布表示（distributed representations）是一種基于神經(jīng)網(wǎng)絡(luò)的表示方式，其思想來自于認(rèn)知表示，它認(rèn)為腦中的一個(gè)物體可以用許多描述該物體的神經(jīng)元來有效表示，這些神經(jīng)元可以獨(dú)立地激活或不激活，例如，一個(gè)n維的二值神經(jīng)元集合，可以描述2n個(gè)不同的數(shù)據(jù)，即每一個(gè)數(shù)據(jù)都由所有的神經(jīng)元共同表示，而每個(gè)神經(jīng)元都參與到各個(gè)不同數(shù)據(jù)的表示[3]中去。因此，分布表示可以看作由n維連續(xù)實(shí)值向量構(gòu)成的特征空間，向量的每一維共同構(gòu)成數(shù)據(jù)的特征表示向量，特征表示維度不會(huì)隨著數(shù)據(jù)數(shù)量的增加而增加。

（2）抽象性

文本特征是對文本數(shù)據(jù)本身的抽象表示，因此文本的特征對文本數(shù)據(jù)的抖動(dòng)應(yīng)具有相應(yīng)的頑健性，同時(shí)也不應(yīng)該因任務(wù)的不同而變化。通常而言，對特征的抽象也具有層次性，低層次的抽象特征來源于輸入數(shù)據(jù)，高層次的抽象特征來源于對低層次抽象特征的進(jìn)一步學(xué)習(xí)，抽象的層次越高對數(shù)據(jù)抖動(dòng)的不變性就越強(qiáng)，例如，相似的詞匯、同義語句應(yīng)該有相似的特征。因此，特征的抽象性反映了特征的不變性和層次性。

?

（3）排他性

文本特征的排他性是指特征應(yīng)該刻畫數(shù)據(jù)不同方面的性質(zhì)，對于互不相同的性質(zhì)，其特征也應(yīng)該互相排斥。例如，文本是由文本的結(jié)構(gòu)、文本中詞語的選擇、文本詞語出現(xiàn)的順序等多種互相關(guān)系的因素共同組成，而有效的特征表示應(yīng)該能夠盡可能多地分離出互相關(guān)聯(lián)的因素，使得不同的抽象特征反映不同的文本內(nèi)在因素。

文本大數(shù)據(jù)特征的表達(dá)性、抽象性和排他性定義了特征表示的不同層次，逐層遞進(jìn)。文本大數(shù)據(jù)的表達(dá)性保證了文本特征必須適合刻畫非結(jié)構(gòu)化數(shù)據(jù)，并且特征表示本身能夠以固定的結(jié)構(gòu)描述文本；在此基礎(chǔ)上，文本特征應(yīng)該是對文本內(nèi)容的歸納和抽象，文本大數(shù)據(jù)是無窮盡的，但是特征應(yīng)該是有限的；最后，特征的排他性要求特征能夠使一個(gè)對象區(qū)別于其他對象，即如果一個(gè)文本具有某個(gè)特征，那么這個(gè)特征就能使這個(gè)文本區(qū)別于不具有這個(gè)特征的文本，從而為文本內(nèi)容的精確理解提供基礎(chǔ)。

2.2 特征學(xué)習(xí)

特征表示規(guī)約了特征的抽象形式，特征學(xué)習(xí)則指在選擇特征表示的規(guī)范下，學(xué)習(xí)數(shù)據(jù)的特征。目前，對特征的學(xué)習(xí)主要有兩類方法：一類是通過監(jiān)督學(xué)習(xí)的方法，利用訓(xùn)練數(shù)據(jù)構(gòu)建適合描述數(shù)據(jù)特征的模型；另一類是非監(jiān)督學(xué)習(xí)的方法，該類方法主要通過降維將數(shù)據(jù)約簡至特征空間，以發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律。近年來，由于深度學(xué)習(xí)可以自動(dòng)發(fā)現(xiàn)結(jié)構(gòu)化深層次特征，從而逐漸成為特征學(xué)習(xí)的主要方法。深度學(xué)習(xí)本質(zhì)上是一個(gè)深度、多層的神經(jīng)網(wǎng)絡(luò)模型，由于它在圖像處理、語音識(shí)別、自然語言處理等應(yīng)用上的重大突破而成為研究熱點(diǎn)。

2006年，Hinton等人^[4]利用受限玻爾茲曼機(jī)（restricted Bolzman machine）非監(jiān)督地預(yù)訓(xùn)練（pre-training）深層神經(jīng)網(wǎng)絡(luò)中每一層模型的參數(shù)，進(jìn)而利用反向傳播算法有監(jiān)督地更新整體模型的參數(shù)，極大地提高了模型在圖像識(shí)別上的準(zhǔn)確率。其中，每一層受限玻爾茲曼機(jī)預(yù)訓(xùn)練得到的模型都可以看作對圖像不同層次上的抽象特征。因此，早期的深度學(xué)習(xí)算法可分為兩個(gè)階段，首先是對每一層神經(jīng)網(wǎng)絡(luò)非監(jiān)督地預(yù)訓(xùn)練該層模型參數(shù)，得到各層的抽象特征表示，進(jìn)而將預(yù)先訓(xùn)練好的各層神經(jīng)網(wǎng)絡(luò)模型疊加，以構(gòu)成深度模型，并依據(jù)訓(xùn)練數(shù)據(jù)中的標(biāo)注信息對整個(gè)模型的參數(shù)進(jìn)行調(diào)優(yōu)（finetune），以提高算法的準(zhǔn)確性，從而體現(xiàn)出深度神經(jīng)網(wǎng)絡(luò)復(fù)雜模型帶來的表示能力提高的優(yōu)勢。隨著深度學(xué)習(xí)技術(shù)的自身發(fā)展^[5,6]，深度模型逐漸不再依賴非監(jiān)督的預(yù)訓(xùn)練，而是直接學(xué)習(xí)出結(jié)構(gòu)化的模型并用于預(yù)測，特征學(xué)習(xí)也即通過深度模型訓(xùn)練得到的層次化的抽象特征。

3 文本大數(shù)據(jù)內(nèi)容理解

由于語言本身是一個(gè)復(fù)雜的結(jié)構(gòu)對象，借助于特征學(xué)習(xí)方法可以較好地刻畫語言的復(fù)雜結(jié)構(gòu)，從而實(shí)現(xiàn)對文本大數(shù)據(jù)的內(nèi)容理解。基于特征學(xué)習(xí)的文本大數(shù)據(jù)內(nèi)容理解目前主要從兩個(gè)方面展開：第一個(gè)方面是面向非結(jié)構(gòu)化文本，以詞匯為基本單元，抽象詞匯的特征，進(jìn)而組合以表示語句的特征，并在特征表示的基礎(chǔ)上實(shí)現(xiàn)對文本內(nèi)容的理解；第二個(gè)方面是面向結(jié)構(gòu)化知識(shí)數(shù)據(jù)，以知識(shí)表示三元組為基本單元，從非結(jié)構(gòu)化文本中抽取出計(jì)算機(jī)可操作的結(jié)構(gòu)化知識(shí)，實(shí)現(xiàn)知識(shí)的發(fā)現(xiàn)、推理等，從而理解文本的內(nèi)容。

3.1 面向非結(jié)構(gòu)化文本的內(nèi)容理解

詞匯作為自然語言的最小組成單元，學(xué)習(xí)其特征是讓計(jì)算機(jī)理解詞匯進(jìn)而理解文本的基礎(chǔ)；在理解詞匯的基礎(chǔ)上，闡述語義組合方法，語義組合通過將詞匯組合成短語、語句的特征表示，從而讓計(jì)算機(jī)理解文本大數(shù)據(jù)內(nèi)容。

3.1.1 詞匯理解

在計(jì)算機(jī)中，所有的字符都是以固定的編碼形式表示，例如，漢字“中”在Unicode編碼中表示為“4E2D”，字母“A”的Unicode編碼為“0041”。計(jì)算機(jī)中的文字是由無任何意義的編碼拼接而成，均無法直接應(yīng)用于文本理解。因此，一種能夠刻畫詞匯語義特征的表示方式是實(shí)現(xiàn)詞匯語義理解的關(guān)鍵。

以詞匯為基本單位，旨在研究建立合適的詞語表示模型，經(jīng)典的當(dāng)屬以WordNet^[7]和知網(wǎng)（HowNet）^[8]為代表的人工編制的知識(shí)庫。WordNet中每個(gè)詞項(xiàng)（synsets）都代表詞匯的一個(gè)具體含義，詞項(xiàng)間通過詞義的語義關(guān)系建立聯(lián)系，形成完善的詞匯網(wǎng)絡(luò)，以表達(dá)詞匯語義。知網(wǎng)則是把概念與概念之間的關(guān)系以及概念的屬性與屬性之間的關(guān)系構(gòu)成網(wǎng)狀的知識(shí)系統(tǒng)，知網(wǎng)定義義原為最小的語義概念單元，并通過義原對義項(xiàng)的結(jié)構(gòu)屬性相互關(guān)系描述詞匯語義。這類人工知識(shí)庫對詞匯的語義描述雖然準(zhǔn)確，但是其規(guī)模小，缺乏可擴(kuò)展性和自適應(yīng)能力，難以滿足文本大數(shù)據(jù)語義理解的需要。

利用特征學(xué)習(xí)方法實(shí)現(xiàn)詞匯的語義表示源自神經(jīng)網(wǎng)絡(luò)語言模型，語言模型的訓(xùn)練目的是最大化詞匯出現(xiàn)的概率分布。在參考文獻(xiàn)[9]中，作者基于前向神經(jīng)網(wǎng)絡(luò)語言模型，隨機(jī)初始化訓(xùn)練語料庫中的詞向量表示，以海量文本作為訓(xùn)練數(shù)據(jù)，假設(shè)在文本中套用滑動(dòng)窗口產(chǎn)生的短句為正例樣本f，將滑動(dòng)窗口中的某個(gè)詞隨機(jī)替換為詞典中的任一詞所產(chǎn)生的錯(cuò)誤短句為負(fù)樣本f′，并令正例樣本的得分比負(fù)例樣本的得分高，以Hinge loss為目標(biāo)函數(shù)，該目標(biāo)函數(shù)在正例樣本和負(fù)例樣本中劃分距離為1的邊界，從而利用反向傳播算法更新詞向量，通過訓(xùn)練得到的詞匯表示向量，使得相似的詞的特征表示也相似。

由于神經(jīng)語言模型復(fù)雜，基于多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算詞匯表示向量，存在計(jì)算量較大的問題，訓(xùn)練時(shí)間往往需要幾天甚至數(shù)周。Mikolov等人^[10]提出了Word2vec模型，該模型極大簡化了多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，僅包含一層投影層，使得計(jì)算效率大幅提高。該模型包括連續(xù)詞袋模型（continue bag of words，CBOW）和Skip-gram模型兩種詞向量的訓(xùn)練方法。CBOW模型的目標(biāo)是給定窗口為n的上下文w_c，預(yù)測中間的詞w_i，其中，投影層為對所有的上下文詞向量求平均值，即
，并利用投影層預(yù)測目標(biāo)詞w_i的概率；Skip-gram模型的目標(biāo)則是給定目標(biāo)詞w_i，預(yù)測上下文的詞w_c的概率。

3.1.2 語義組合

詞匯特征表示向量在一定程度上解決了詞匯的語義理解問題，語義組合則是將詞匯組合成詞組或者語句的語義表示形式，已實(shí)現(xiàn)語句級的語義理解。語義組合符合人們理解語句的方式，人們理解語句不是通過直接記憶句子，而是在理解詞語和詞語組合方式的基礎(chǔ)上理解句子的含義。語義組合的目的是將基本的詞語單元組合，以表達(dá)復(fù)雜語句的語義，語句整體的語義看作部分語義的組合函數(shù)。因此，語義組合是詞匯語義理解向語句語義理解的重要手段。語義組合函數(shù)定義為^[12]：p=f（u，v，R，K），其中，u、v表示待組合部分，R表示u、v間的關(guān)系，K表示用于語義組合的其他上下文知識(shí)。

若將R定義為簡單的線性關(guān)系，則可以實(shí)現(xiàn)基于加法p=u+v和乘法p=u·v的組合函數(shù)，這種組合方式雖然簡單，但在組合時(shí)忽略了詞在文本中出現(xiàn)的順序，即u+v=v+u或u·v=v·u，存在明顯的缺陷。這導(dǎo)致不同含義的詞組可能有相同的表示形式，例如“種子植物”和“植物種子”有相同的表示，但是這兩個(gè)詞組前者描述一類植物，后者表示種子，意義并不相同。有研究顯示，英文文章的含義 80%來自于詞的選擇， 20%來自于詞的順序，因此忽略詞序?qū)φZ義理解有較大的損失。

基于特征學(xué)習(xí)的復(fù)雜模型由于符合語義組合的方式、刻畫語句的特征，獲得廣泛的關(guān)注，并在語句的語義理解上取得很好的效果。遞歸自編碼（recursive autoencoders）^[13]是一種非線性的語義組合模型，它以遞歸的方式組合自編碼網(wǎng)絡(luò)，構(gòu)建短語或句子的語義特征表示。遞歸自編碼模型是由自編碼模型組合而成，自編碼模型是一種非監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型，該模型以輸出數(shù)據(jù)約等于輸入數(shù)據(jù)為訓(xùn)練目標(biāo)更新模型參數(shù)，得到編碼后的隱藏層g為模型輸入數(shù)據(jù)的特征。如圖2所示，u、 v為待組合的兩個(gè)詞語的特征表示向量，利用自編碼模型計(jì)算組合后詞組的特征表示，為了訓(xùn)練詞組的特征表示
，模型解碼詞組特征得到
，并以
為目標(biāo)訓(xùn)練模型的參數(shù)和詞組的特征表示向量。如圖3所示，在得到二元詞組的語義組合表示的基礎(chǔ)上，可以遞歸地?cái)U(kuò)展為一棵二叉樹的結(jié)構(gòu)以實(shí)現(xiàn)語義擴(kuò)展。目前，將句子構(gòu)建成樹有兩種方式：一是利用貪心算法構(gòu)建一棵樹，對于長度為n的句子，計(jì)算n-1個(gè)連續(xù)二元詞組所構(gòu)造的自編碼模型錯(cuò)誤率，選擇錯(cuò)誤率最低的兩個(gè)節(jié)點(diǎn)組合構(gòu)成一棵二叉樹，在剩下的n-2個(gè)節(jié)點(diǎn)中，繼續(xù)選擇自編碼模型錯(cuò)誤率最低的連續(xù)兩個(gè)節(jié)點(diǎn)組合，直到組合至根節(jié)點(diǎn)為止；二是利用語法樹構(gòu)建遞歸自編碼，該方法將句子解析為語法樹的形式，這不僅降低了計(jì)算復(fù)雜性，還保留了句子的語法結(jié)構(gòu)，因此語義組合后能得到更好的語句特征。

圖 2 自編碼模型

圖 3 基于遞歸自編碼的語義組合模型

利用語義組合方法構(gòu)建的抽象語句特征表示，可以更好地識(shí)別出語句的內(nèi)在語義，使得相似的語句有相似的特征表示，從而用于語句的情感挖掘、詞組相似性、同義語句識(shí)別等語義理解任務(wù)中。

3.2 面向結(jié)構(gòu)化知識(shí)的內(nèi)容理解

結(jié)構(gòu)化知識(shí)是文本內(nèi)容理解的產(chǎn)物，同時(shí)也可用于文本的內(nèi)容理解。知識(shí)數(shù)據(jù)作為搜索引擎、智能問答重要的信息源，扮演著越來越重要的角色。通過知識(shí)圖譜可以建立實(shí)體的關(guān)系網(wǎng)絡(luò)，賦予豐富的語義信息，從而為文本理解提供基礎(chǔ)。

3.2.1 知識(shí)表示

將知識(shí)表示成計(jì)算機(jī)可計(jì)算的符號化形式，是讓計(jì)算機(jī)理解知識(shí)的基礎(chǔ)。對知識(shí)表示的研究伴隨著計(jì)算機(jī)的整個(gè)發(fā)展階段，提出了一系列表示方法，如謂詞邏輯表示方法、框架式表示方法、產(chǎn)生式表示方法和面向?qū)ο蟊硎痉椒ǖ?#xff0c;不同的知識(shí)表示方法對問題解決有不同的幫助。良好的知識(shí)表示方法應(yīng)能滿足不同類型使用者的要求，一般來說，對知識(shí)表示的要求應(yīng)考慮以下幾個(gè)方面：表示知識(shí)的范圍要廣泛，表示的形式要適合于推理，并且要具有可解釋的能力。

隨著語義網(wǎng)的發(fā)展，將知識(shí)以本體（ontology）的形式進(jìn)行組織，以描述概念和概念間的關(guān)系，這已經(jīng)成為重要的知識(shí)表示方式；但是，由于本體的結(jié)構(gòu)過于復(fù)雜，近年來語義結(jié)構(gòu)相對簡單的知識(shí)圖譜成為知識(shí)表示的熱門發(fā)展方向。

通常，知識(shí)圖譜包括大量的實(shí)體（如奧巴馬、夏威夷）、實(shí)體的語義類別（如奧巴馬屬于政治家分類，夏威夷屬于城市的分類）和實(shí)體間的關(guān)系（如奧巴馬和夏威夷的關(guān)系是奧巴馬出生于夏威夷），并以三元組的形式表示（主體，關(guān)系，客體），記作（e_l，r，e_r）（如（奧巴馬，出生于，夏威夷））。

由于知識(shí)圖譜的重要作用，學(xué)術(shù)界和工業(yè)界都在努力構(gòu)建大規(guī)模知識(shí)圖譜，以滿足實(shí)際應(yīng)用需要，其中，典型的知識(shí)圖譜包括Freebase、NELL（never-ending language learning）等。Freebase是以眾包的形式構(gòu)建的知識(shí)圖譜，因而包含一定的噪音數(shù)據(jù)，目前已包含大于4 000萬個(gè)實(shí)體、大于20 000種關(guān)系，共大約19億條記錄；而NELL項(xiàng)目自2010年以來，不斷地從互聯(lián)網(wǎng)中抽取結(jié)構(gòu)化數(shù)據(jù)，且不停地迭代更新已有數(shù)據(jù)的置信度，目前已累計(jì)超過5 000萬條知識(shí)數(shù)據(jù)。

3.2.2 知識(shí)發(fā)現(xiàn)

利用特征學(xué)習(xí)表示知識(shí)數(shù)據(jù)是在詞匯特征表示捕捉詞匯語義的基礎(chǔ)上，構(gòu)建關(guān)系的表示方法，進(jìn)而實(shí)現(xiàn)結(jié)構(gòu)化知識(shí)的發(fā)現(xiàn)。其中，經(jīng)典的工作是TransE模型^[14]，該模型將三元組中的關(guān)系看作主體到客體的翻譯，使得三元組滿足的線性轉(zhuǎn)換。利用特征表示向量描述實(shí)體和關(guān)系，可以更加容易地計(jì)算實(shí)體間的語義關(guān)系。但是該方法不能很好地刻畫多對一、一對多或多對多的關(guān)系，例如在多對一的關(guān)系中，在關(guān)系r和客體的特征表示向量相同的情況下，由于三元組滿足e_l+r?e_r的映射要求，使得不同主體的特征表示也會(huì)相同，這顯然不符合特征的語義表示，因此該模型未來還有繼續(xù)改進(jìn)的空間。在得到實(shí)體、關(guān)系的特征語義表示的基礎(chǔ)上，可以進(jìn)一步實(shí)現(xiàn)關(guān)系的抽取和發(fā)現(xiàn)。例如，給定主體e_l和客體e_r，通過判斷與e_r-e_l最相似的關(guān)系特征表示向量r，確認(rèn)兩個(gè)實(shí)體間的關(guān)系；或在給定主體e_l和關(guān)系r的情況下，判斷與e_l+r最相似的客體e_r，從而發(fā)現(xiàn)新的三元組知識(shí)數(shù)據(jù)。實(shí)驗(yàn)顯示，通過簡單的向量加減法可以發(fā)現(xiàn)新的事實(shí)數(shù)據(jù)或判斷實(shí)體間的關(guān)系，這極大提高了知識(shí)發(fā)現(xiàn)的效率。

3.2.3 知識(shí)推理

計(jì)算機(jī)的推理能力是計(jì)算機(jī)智能的重要體現(xiàn)。在知識(shí)圖譜中，基于實(shí)體關(guān)系的推理是發(fā)現(xiàn)隱藏知識(shí)的重要手段。傳統(tǒng)的基于規(guī)則的推理方式，由于完全依賴人為定義，發(fā)現(xiàn)的關(guān)系受限于人為定義的規(guī)則庫，因此自動(dòng)化的關(guān)系推理是豐富現(xiàn)有知識(shí)圖譜的重要手段。在基于線性關(guān)系發(fā)現(xiàn)知識(shí)數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步擴(kuò)展線性轉(zhuǎn)換關(guān)系，可以實(shí)現(xiàn)多關(guān)系組合推理^[15]，給定兩個(gè)相關(guān)聯(lián)三元組(e_l, r,e_r)和(e_r,r’,e_r’)，根據(jù)三元組的線性變換規(guī)則，可以認(rèn)為在實(shí)體、關(guān)系的特征語義空間中，多個(gè)三元組間存在的組合推理關(guān)系，從而實(shí)現(xiàn)知識(shí)的推理。

3.2.4 隱式關(guān)系發(fā)現(xiàn)

知識(shí)圖譜是對文本大數(shù)據(jù)內(nèi)容理解的產(chǎn)物，同時(shí)，知識(shí)圖譜作為豐富的知識(shí)資源可以反作用于文本的內(nèi)容理解。由于個(gè)體文檔通常只包含少量的關(guān)系數(shù)據(jù)，這些關(guān)系數(shù)據(jù)可能不足以體現(xiàn)完整的實(shí)體關(guān)系網(wǎng)，但是通過與已有的知識(shí)圖譜匹配，可以完善實(shí)體間的關(guān)系，從而發(fā)現(xiàn)現(xiàn)有文本中無法挖掘的隱式關(guān)系，滿足文本數(shù)據(jù)深層次內(nèi)容理解的需要。

4 基于特征學(xué)習(xí)的文本內(nèi)容理解發(fā)展趨勢

基于特征學(xué)習(xí)的方法在文本內(nèi)容理解問題上已經(jīng)取得了一系列突破，未來結(jié)合網(wǎng)絡(luò)大數(shù)據(jù)的涌現(xiàn)，對文本內(nèi)容理解的研究還將繼續(xù)發(fā)展。針對非結(jié)構(gòu)化文本的內(nèi)容理解，深度學(xué)習(xí)由于其可以抽象高層次的概念特征，是未來重要的研究方向；而針對結(jié)構(gòu)化知識(shí)的內(nèi)容理解，知識(shí)圖譜可以結(jié)構(gòu)化、形式化地刻畫文本的語義內(nèi)容，進(jìn)而實(shí)現(xiàn)關(guān)聯(lián)推理，是實(shí)現(xiàn)文本內(nèi)容深度理解的重要手段。

深度學(xué)習(xí)作為非結(jié)構(gòu)化文本內(nèi)容理解的重要方法，未來將繼續(xù)探索適合文本內(nèi)容理解的模型，以提高內(nèi)容理解的準(zhǔn)確性。語言是一種序列模型，語言本身具有一定連續(xù)性，因此一個(gè)能刻畫語言時(shí)序特征的模型是實(shí)現(xiàn)文本內(nèi)容理解的重要基礎(chǔ)。由于遞歸神經(jīng)網(wǎng)絡(luò)具有一定的時(shí)序性和記憶性，利用遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練文本的特征符合語言的形式，在機(jī)器翻譯、自然語言生成等應(yīng)用中都取得較好的結(jié)果，遞歸神經(jīng)網(wǎng)絡(luò)正逐漸成為文本內(nèi)容理解的重要模型。在遞歸神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，有研究進(jìn)一步提出有長期記憶能力的遞歸模型，并將該模型用于自動(dòng)問答中^[16]，取得了較好的結(jié)果。具有較強(qiáng)記憶能力的模型對于文本內(nèi)容理解起著重要的作用。

同時(shí)，對基于深度學(xué)習(xí)方法自動(dòng)學(xué)習(xí)的文本特征的可解釋性也是未來研究的方向。不同于直觀的人工定義特征，通過特征學(xué)習(xí)方法得到文本抽象特征，其對人而言的可解釋性并不強(qiáng)。最近，Google的研究人員提出了Deep Dream方法，可視化地針對圖像識(shí)別的深度模型各層特征。對于文本而言，目前對于文本的抽象特征以及模型自身的可解釋性都還有待進(jìn)一步研究，只有理解了模型及其抽象特征，才能更好地實(shí)現(xiàn)文本內(nèi)容的理解。

知識(shí)圖譜作為結(jié)構(gòu)化知識(shí)的重要組織形式，刻畫實(shí)體關(guān)系的演化是重要發(fā)展方向。實(shí)體間的關(guān)系是不斷演化發(fā)展的，具有時(shí)序性，因此有其自身的生命周期，繪制一張動(dòng)態(tài)的知識(shí)關(guān)系網(wǎng)，對文本大數(shù)據(jù)內(nèi)容理解的實(shí)時(shí)性有很大幫助。此外，目前的知識(shí)圖譜圍繞實(shí)體展開，描述實(shí)體間的關(guān)系；未來如何從文本大數(shù)據(jù)中抽取事件信息，實(shí)現(xiàn)事件的發(fā)現(xiàn)和推理，是文本大數(shù)據(jù)全面深入內(nèi)容理解的重要方向。

5 結(jié)束語

隨著文本大數(shù)據(jù)的涌現(xiàn)，文本處理已經(jīng)從數(shù)據(jù)不足轉(zhuǎn)向數(shù)據(jù)過量，雖然文本大數(shù)據(jù)主要是無標(biāo)注或者弱標(biāo)注的數(shù)據(jù)，但是這類數(shù)據(jù)正好為特征學(xué)習(xí)方法提供了數(shù)據(jù)基礎(chǔ)，進(jìn)而實(shí)現(xiàn)了特征發(fā)現(xiàn)基礎(chǔ)上的文本語義理解。基于特征學(xué)習(xí)的文本內(nèi)容理解有了許多探索和突破，但是由于自然語言自身的復(fù)雜性、模糊性，特征學(xué)習(xí)需要更為準(zhǔn)確的結(jié)構(gòu)以刻畫自然語言。相信隨著特征學(xué)習(xí)技術(shù)的發(fā)展和對自然語言本身認(rèn)識(shí)的加深，對文本大數(shù)據(jù)的內(nèi)容理解能力一定會(huì)進(jìn)一步提高。

參考文獻(xiàn)

[1] Bengio Y. Deep learning: theoretical motivations. Presented at the Deep Learning Summer School, 2015

[2] Bengio Y, Courville A, Vincent P. Representation learning: a review and new perspectives. IEEE Transactions on Pattern Analysisand Machine Intelligence, 2013, 35(8): 1798~1828

[3] Bengio Y. Learning deep architectures for AI.Foundations and Trends in Machine Learning, 2009, 2(1): 1~127

[4] Hinton G E, Osindero S. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7):1527~1554

[5] Srivastava N, Hinton G, Krizhevsky A, et al.Dropout: asimple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 2014, 15(1): 1929~1958

[6] Nair V, Hinton G E. Rectified linear unitsimprove restricted boltzmann machines. Proceedings of the 27th International Conference on Machine Learning (ICML-10), Haifa, Israel, 2010: 807~814

[7] Miller G A. WordNet: a lexical database for English. Communications of the ACM, 1995, 38(11): 39~41

[8] 董振東, 董強(qiáng), 郝長伶. 知網(wǎng)的理論發(fā)現(xiàn). 中文信息學(xué)報(bào), 2007, 21(4): 3~9

Dong Z D, Dong Q, Hao C L. Theoretical findings of HowNet. Journal of Chinese Information Proceeding, 2007, 21(4): 3~9

[9] Collobert R, Weston J. A unified architecture for natural language processing : deep neural networks with multitask learning.Proceedings of the 25th International Conference on Machine Learning, Helsinki,Finland, 2008

[10] Mikolov T, Corrado G, Chen K, et al. Efficient estimation of word representations in vector space. Proceedings of Workshop at ICLR, Florida, USA, 2013: 1~12

[11] Maaten L V D, Hinton G. Visualizing data using t-SNE. Journal of Machine Learning Research, 2008(9): 2579~2605

[12] Mitchell J, Lapata M. Composition indistributional models of semantics. Cognitive Science, 2010, 34(8): 1388~1429

[13] Socheer R, Perelygin A, Wu J Y, et al.Recursive deep models for semantic compositionality over a sentiment treebank.Proceedings of Conference on Empirical Methods in Natural Language Processing(EMNLP 2013), Washington DC, USA, 2013: 1631~1642

[14] Bordes A, Usunier N, Garcia-Duran A, et al.Translating embeddings for modeling multi-relational data. Proceedings of Conference on Advances in Neural Information Processing Systems (NIPS), SouthLake Tahoe, Nevoda, US, 2013: 2787~2795

[15] Garcia-Durran A, Bordes A, Usunier N. Composing relationships with translations. Proceedings of Conference on Empirical Methodsin Natural Language Processing (EMNLP 2015), Lisbon, Portugal, 2015: 286~290

[16] Sukhbaatar S, Szlam A, Weston J, et al.End-to-end memory networks. arXiv Preprint arXiv:1503.08895, 2015

---

總結(jié)

以上是生活随笔為你收集整理的《大数据》2015年第3期“网络大数据专题”——基于特征学习的文本大数据内容理解及其发展趋势...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。