十分鐘學(xué)習(xí)自然語(yǔ)言處理概述??

摘要：近來(lái)自然語(yǔ)言處理行業(yè)發(fā)展朝氣蓬勃，市場(chǎng)應(yīng)用廣泛。筆者學(xué)習(xí)以來(lái)寫(xiě)了不少文章，文章深度層次不一，今天因?yàn)槟撤N需要，將文章全部看了一遍做個(gè)整理，也可以稱之為概述。關(guān)于這些問(wèn)題，博客里面都有詳細(xì)的文章去介紹，本文只是對(duì)其各個(gè)部分高度概括梳理。（本文原創(chuàng)，轉(zhuǎn)載注明出處：十分鐘學(xué)習(xí)自然語(yǔ)言處理概述? )

1 什么是文本挖掘？

文本挖掘是信息挖掘的一個(gè)研究分支，用于基于文本信息的知識(shí)發(fā)現(xiàn)。文本挖掘的準(zhǔn)備工作由文本收集、文本分析和特征修剪三個(gè)步驟組成。目前研究和應(yīng)用最多的幾種文本挖掘技術(shù)有：文檔聚類、文檔分類和摘要抽取。

2 什么是自然語(yǔ)言處理？

自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的理論和方法。融語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)等于一體的科學(xué)。
自然語(yǔ)言處理原理：形式化描述-數(shù)學(xué)模型算法化-程序化-實(shí)用化
語(yǔ)音的自動(dòng)合成與識(shí)別、機(jī)器翻譯、自然語(yǔ)言理解、人機(jī)對(duì)話、信息檢索、文本分類、自動(dòng)文摘等。

3?常用中文分詞？

中文文本詞與詞之間沒(méi)有像英文那樣有空格分隔，因此很多時(shí)候中文文本操作都涉及切詞，這里整理了一些中文分詞工具。
Stanford（直接使用CRF 的方法，特征窗口為5。）?

漢語(yǔ)分詞工具（個(gè)人推薦）

哈工大語(yǔ)言云

庖丁解牛分詞

盤(pán)古分詞? ICTCLAS（中科院）漢語(yǔ)詞法分析系統(tǒng)?

IKAnalyzer（Luence項(xiàng)目下，基于java的）?

FudanNLP(復(fù)旦大學(xué))

4 詞性標(biāo)注方法？句法分析方法？

原理描述：標(biāo)注一篇文章中的句子，即語(yǔ)句標(biāo)注，使用標(biāo)注方法BIO標(biāo)注。則觀察序列X就是一個(gè)語(yǔ)料庫(kù)（此處假設(shè)一篇文章，x代表文章中的每一句，X是x的集合），標(biāo)識(shí)序列Y是BIO，即對(duì)應(yīng)X序列的識(shí)別，從而可以根據(jù)條件概率P(標(biāo)注|句子)，推測(cè)出正確的句子標(biāo)注。??

顯然，這里針對(duì)的是序列狀態(tài)，即CRF是用來(lái)標(biāo)注或劃分序列結(jié)構(gòu)數(shù)據(jù)的概率化結(jié)構(gòu)模型，CRF可以看作無(wú)向圖模型或者馬爾科夫隨機(jī)場(chǎng)。 ? 用過(guò)CRF的都知道，CRF是一個(gè)序列標(biāo)注模型，指的是把一個(gè)詞序列的每個(gè)詞打上一個(gè)標(biāo)記。一般通過(guò)，在詞的左右開(kāi)一個(gè)小窗口，根據(jù)窗口里面的詞，和待標(biāo)注詞語(yǔ)來(lái)實(shí)現(xiàn)特征模板的提取。最后通過(guò)特征的組合決定需要打的tag是什么。

5 命名實(shí)體識(shí)別？三種主流算法，CRF，字典法和混合方法 ?

1 CRF：在CRF for Chinese NER這個(gè)任務(wù)中，提取的特征大多是該詞是否為中國(guó)人名姓氏用字，該詞是否為中國(guó)人名名字用字之類的，True or false的特征。所以一個(gè)可靠的百家姓的表就十分重要啦~在國(guó)內(nèi)學(xué)者做的諸多實(shí)驗(yàn)中，效果最好的人名可以F1測(cè)度達(dá)到90%，最差的機(jī)構(gòu)名達(dá)到85%。 ?

2 字典法：在NER中就是把每個(gè)字都當(dāng)開(kāi)頭的字放到trie-tree中查一遍，查到了就是NE。中文的trie-tree需要進(jìn)行哈希，因?yàn)橹形淖址嗔?#xff0c;不像英文就26個(gè)。 ?

3 對(duì)六類不同的命名實(shí)體采取不一樣的手段進(jìn)行處理，例如對(duì)于人名，進(jìn)行字級(jí)別的條件概率計(jì)算。 ? 中文：哈工大（語(yǔ)言云）上海交大??? 英文：stanfordNER等

7 基于主動(dòng)學(xué)習(xí)的中醫(yī)文獻(xiàn)句法識(shí)別研究 ?

7.1 語(yǔ)料庫(kù)知識(shí)？ ??????

語(yǔ)料庫(kù)作為一個(gè)或者多個(gè)應(yīng)用目標(biāo)而專門(mén)收集的，有一定結(jié)構(gòu)的、有代表的、可被計(jì)算機(jī)程序檢索的、具有一定規(guī)模的語(yǔ)料的集合。 ???

語(yǔ)料庫(kù)劃分：① 時(shí)間劃分② 加工深度劃分：標(biāo)注語(yǔ)料庫(kù)和非標(biāo)注語(yǔ)料庫(kù)③ 結(jié)構(gòu)劃分⑤ 語(yǔ)種劃分⑥ 動(dòng)態(tài)更新程度劃分：參考語(yǔ)料庫(kù)和監(jiān)控語(yǔ)料庫(kù) ???

語(yǔ)料庫(kù)構(gòu)建原則：①?? 代表性②?? 結(jié)構(gòu)性③?? 平衡性④?? 規(guī)模性⑤?? 元數(shù)據(jù)：元數(shù)據(jù)對(duì) ??????

語(yǔ)料標(biāo)注的優(yōu)缺點(diǎn)

①?? 優(yōu)點(diǎn)： 研究方便?？芍赜?、功能多樣性、分析清晰。

②?? 缺點(diǎn)： 語(yǔ)料不客觀（手工標(biāo)注準(zhǔn)確率高而一致性差，自動(dòng)或者半自動(dòng)標(biāo)注一致性高而準(zhǔn)確率差）、標(biāo)注不一致、準(zhǔn)確率低

?7.2 條件隨機(jī)場(chǎng)解決標(biāo)注問(wèn)題？??????

條件隨機(jī)場(chǎng)用于序列標(biāo)注，中文分詞、中文人名識(shí)別和歧義消解等自然語(yǔ)言處理中，表現(xiàn)出很好的效果。原理是：對(duì)給定的觀察序列和標(biāo)注序列，建立條件概率模型。條件隨機(jī)場(chǎng)可用于不同預(yù)測(cè)問(wèn)題，其學(xué)習(xí)方法通常是極大似然估計(jì)。 ?????

我愛(ài)中國(guó)，進(jìn)行序列標(biāo)注案例講解條件隨機(jī)場(chǎng)。（規(guī)則模型和統(tǒng)計(jì)模型問(wèn)題） ??

條件隨機(jī)場(chǎng)模型也需要解決三個(gè)基本問(wèn)題：特征的選擇（表示第i個(gè)觀察值為“愛(ài)”時(shí)，相對(duì)yi,yi-1的標(biāo)記分別是B，I），參數(shù)訓(xùn)練和解碼。 ?? ?

7.3 隱馬爾可夫模型??????

應(yīng)用：詞類標(biāo)注、語(yǔ)音識(shí)別、局部句法剖析、語(yǔ)塊分析、命名實(shí)體識(shí)別、信息抽取等。應(yīng)用于自然科學(xué)、工程技術(shù)、生物科技、公用事業(yè)、信道編碼等多個(gè)領(lǐng)域。 ??

馬爾可夫鏈：在隨機(jī)過(guò)程中，每個(gè)語(yǔ)言符號(hào)的出現(xiàn)概率不相互獨(dú)立，每個(gè)隨機(jī)試驗(yàn)的當(dāng)前狀態(tài)依賴于此前狀態(tài)，這種鏈就是馬爾可夫鏈。 ??

多元馬爾科夫鏈：考慮前一個(gè)語(yǔ)言符號(hào)對(duì)后一個(gè)語(yǔ)言符號(hào)出現(xiàn)概率的影響，這樣得出的語(yǔ)言成分的鏈叫做一重馬爾可夫鏈，也是二元語(yǔ)法。二重馬爾可夫鏈，也是三元語(yǔ)法，三重馬爾可夫鏈，也是四元語(yǔ)法 ?????

隱馬爾可夫模型思想的三個(gè)問(wèn)題?

問(wèn)題1（似然度問(wèn)題）：給一個(gè)HMM λ=（A,B） 和一個(gè)觀察序列O，確定觀察序列的似然度問(wèn)題 P(O|λ) 。（向前算法解決） ?????????

問(wèn)題2（解碼問(wèn)題）：給定一個(gè)觀察序列O和一個(gè)HMM λ=（A,B），找出最好的隱藏狀態(tài)序列Q。（維特比算法解決） ?????????

問(wèn)題3（學(xué)習(xí)問(wèn)題）：給定一個(gè)觀察序列O和一個(gè)HMM中的狀態(tài)集合，自動(dòng)學(xué)習(xí)HMM的參數(shù)A和B。（向前向后算法解決）

7.4 Viterbi算法解碼??????

思路：

1 計(jì)算時(shí)間步1的維特比概率

2 計(jì)算時(shí)間步2的維特比概率，在（1） 基礎(chǔ)計(jì)算

3 計(jì)算時(shí)間步3的維特比概率，在（2） 基礎(chǔ)計(jì)算

4 維特比反向追蹤路徑 ????? ??

維特比算法與向前算法的區(qū)別： ????

（1）維特比算法要在前面路徑的概率中選擇最大值，而向前算法則計(jì)算其總和，除此之外，維特比算法和向前算法一樣。 ????

（2）維特比算法有反向指針，尋找隱藏狀態(tài)路徑，而向前算法沒(méi)有反向指針。 ?????

HMM和維特比算法解決隨機(jī)詞類標(biāo)注問(wèn)題，利用Viterbi算法的中文句法標(biāo)注 ?

7.5 序列標(biāo)注方法?????? 參照上面詞性標(biāo)注 ? ?

7.6 模型評(píng)價(jià)方法??????

模型：方法=模型+策略+算法 ??

模型問(wèn)題涉及：訓(xùn)練誤差、測(cè)試誤差、過(guò)擬合等問(wèn)題。通常將學(xué)習(xí)方法對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力稱為泛化能力。

模型評(píng)價(jià)參數(shù)： ?????

準(zhǔn)確率P=識(shí)別正確的數(shù)量/全部識(shí)別出的數(shù)量 ??

錯(cuò)誤率 =識(shí)別錯(cuò)誤的數(shù)量/全部識(shí)別出的數(shù)量 ??

精度=識(shí)別正確正的數(shù)量/識(shí)別正確的數(shù)量 ?????

召回率R=識(shí)別正確的數(shù)量/全部正確的總量（識(shí)別出+識(shí)別不出的） ??

F度量=2PR/(P+R) ?? ??

數(shù)據(jù)正負(fù)均衡適合準(zhǔn)確率 ?? 數(shù)據(jù)不均適合召回率，精度，F度量 ??

幾種模型評(píng)估的方法：

K-折交叉驗(yàn)證、隨機(jī)二次抽樣評(píng)估等 ?? ROC曲線評(píng)價(jià)兩個(gè)模型好壞 ?

8 基于文本處理技術(shù)的研究生英語(yǔ)等級(jí)考試詞匯表構(gòu)建系統(tǒng) ?

完成對(duì)2002--2010年17套GET真題的核心單詞抽取。其中包括數(shù)據(jù)清洗，停用詞處理，分詞，詞頻統(tǒng)計(jì)，排序等常用方法。真題算是結(jié)構(gòu)化數(shù)據(jù)，有一定規(guī)則，比較容易處理。此過(guò)程其實(shí)就是數(shù)據(jù)清洗過(guò)程）最后把所有單詞集中匯總，再去除如：a/an/of/on/frist等停用詞（中文文本處理也需要對(duì)停用詞處理，諸如：的，地，是等）。處理好的單詞進(jìn)行去重和詞頻統(tǒng)計(jì)，最后再利用網(wǎng)絡(luò)工具對(duì)英語(yǔ)翻譯。然后根據(jù)詞頻排序。 ? ?

8.1 Apache Tika？??????

Apache Tika內(nèi)容抽取工具，其強(qiáng)大之處在于可以處理各種文件，另外節(jié)約您更多的時(shí)間用來(lái)做重要的事情。 ??

Tika是一個(gè)內(nèi)容分析工具，自帶全面的parser工具類，能解析基本所有常見(jiàn)格式的文件 ??

Tika的功能:?文檔類型檢測(cè)?? ?內(nèi)容提取? ?元數(shù)據(jù)提取? ?語(yǔ)言檢測(cè)

8.2 文本詞頻統(tǒng)計(jì)？詞頻排序方法？??????

算法思想：

1 歷年（2002—2010年）GET考試真題，文檔格式不一。網(wǎng)上收集 ???????????????

2 對(duì)所有格式不一的文檔進(jìn)行統(tǒng)計(jì)處理成txt文檔，格式化（去除漢字/標(biāo)點(diǎn)/空格等非英文單詞）和去除停用詞（去除891個(gè)停用詞）處理。 ???????????????

3 對(duì)清洗后的單詞進(jìn)行去重和詞頻統(tǒng)計(jì)，通過(guò)Map統(tǒng)計(jì)詞頻，實(shí)體存儲(chǔ)：單詞-詞頻。（數(shù)組也可以，只是面對(duì)特別大的數(shù)據(jù)，數(shù)組存在越界問(wèn)題）。排序：根據(jù)詞頻或者字母

4 提取核心詞匯，大于5的和小于25次的數(shù)據(jù)，可以自己制定閾值。遍歷list<實(shí)體>列表時(shí)候，通過(guò)獲取實(shí)體的詞頻屬性控制選取詞匯表尺寸。 ???????????????

5 最后一步，中英文翻譯。 ????

9 樸素貝葉斯模型的文本分類器的設(shè)計(jì)與實(shí)現(xiàn) ?

9.1 樸素貝葉斯公式 ?

0：喜悅? 1：憤怒 2：厭惡 3：低落 ?

9.2 樸素貝葉斯原理??

-->訓(xùn)練文本預(yù)處理，構(gòu)造分類器。（即對(duì)貝葉斯公式實(shí)現(xiàn)文本分類參數(shù)值的求解，暫時(shí)不理解沒(méi)關(guān)系，下文詳解） ?

-->構(gòu)造預(yù)測(cè)分類函數(shù) ?

-->對(duì)測(cè)試數(shù)據(jù)預(yù)處理 ?

-->使用分類器分類 ???

對(duì)于一個(gè)新的訓(xùn)練文檔d，究竟屬于如上四個(gè)類別的哪個(gè)類別？我們可以根據(jù)貝葉斯公式，只是此刻變化成具體的對(duì)象。 ???

> P( Category | Document)：測(cè)試文檔屬于某類的概率 ???

> P( Category))：從文檔空間中隨機(jī)抽取一個(gè)文檔d，它屬于類別c的概率。（某類文檔數(shù)目/總文檔數(shù)目） ???

> (P ( Document | Category )：文檔d對(duì)于給定類c的概率（某類下文檔中單詞數(shù)/某類中總的單詞數(shù)） ???

> P(Document)：從文檔空間中隨機(jī)抽取一個(gè)文檔d的概率（對(duì)于每個(gè)類別都一樣，可以忽略不計(jì)算。此時(shí)為求最大似然概率） ???

>? C(d)=argmax {P(C_i)*P(d|c_i)}：求出近似的貝葉斯每個(gè)類別的概率，比較獲取最大的概率，此時(shí)文檔歸為最大概率的一類，分類成功。 ?

綜述

1.? 事先收集處理數(shù)據(jù)集（涉及網(wǎng)絡(luò)爬蟲(chóng)和中文切詞，特征選取） ?????

2.? 預(yù)處理：（去掉停用詞，移除頻數(shù)過(guò)小的詞匯【根據(jù)具體情況】） ?????

3.? 實(shí)驗(yàn)過(guò)程：

數(shù)據(jù)集分兩部分（3:7）：30%作為測(cè)試集，70%作為訓(xùn)練集?????????

增加置信度：10-折交叉驗(yàn)證（整個(gè)數(shù)據(jù)集分為10等份，9份合并為訓(xùn)練集，余下1份作為測(cè)試集。一共運(yùn)行10遍，取平均值作為分類結(jié)果）優(yōu)缺點(diǎn)對(duì)比分析 ?????

4. 評(píng)價(jià)標(biāo)準(zhǔn)： ?????????

宏評(píng)價(jià)&微評(píng)價(jià)??????????

平滑因子

9.3 生產(chǎn)模型與判別模型區(qū)別???????

1）生產(chǎn)式模型：直接對(duì)聯(lián)合分布進(jìn)行建模，如：隱馬爾科夫模型、馬爾科夫隨機(jī)場(chǎng)等 ??????

2）判別式模型：對(duì)條件分布進(jìn)行建模，如：條件隨機(jī)場(chǎng)、支持向量機(jī)、邏輯回歸等。 ?????????

生成模型優(yōu)點(diǎn)：1）由聯(lián)合分布2）收斂速度比較快。3）能夠應(yīng)付隱變量。 缺點(diǎn)：為了估算準(zhǔn)確，樣本量和計(jì)算量大，樣本數(shù)目較多時(shí)候不建議使用。 ?????????

判別模型優(yōu)點(diǎn)：1）計(jì)算和樣本數(shù)量少。2）準(zhǔn)確率高。缺點(diǎn)：收斂慢，不能針對(duì)隱變量。 ?

9.4 ROC曲線??????

ROC曲線又叫接受者操作特征曲線，比較學(xué)習(xí)器模型好壞可視化工具，橫坐標(biāo)參數(shù)假正例率，縱坐標(biāo)參數(shù)是真正例率。曲線越靠近對(duì)角線（隨機(jī)猜測(cè)線）模型越不好。 ?????

好的模型，真正比例比較多，曲線應(yīng)是陡峭的從0開(kāi)始上升，后來(lái)遇到真正比例越來(lái)越少，假正比例元組越來(lái)越多，曲線平緩變的更加水平。完全正確的模型面積為1

10 統(tǒng)計(jì)學(xué)知識(shí)

信息圖形化（餅圖，線形圖等）

集中趨勢(shì)度量（平均值 中位數(shù) 眾數(shù) 方差等）

概率

排列組合

分布（幾何二項(xiàng)泊松正態(tài)卡方）

統(tǒng)計(jì)抽樣

樣本估計(jì)

假設(shè)檢驗(yàn)

回歸

11 stanfordNLP

句子理解、自動(dòng)問(wèn)答系統(tǒng)、機(jī)器翻譯、句法分析、標(biāo)注、情感分析、文本和視覺(jué)場(chǎng)景和模型， 以及自然語(yǔ)言處理數(shù)字人文社會(huì)科學(xué)中的應(yīng)用和計(jì)算。

12?APache OpenNLP

Apache的OpenNLP庫(kù)是自然語(yǔ)言文本的處理基于機(jī)器學(xué)習(xí)的工具包。它支持最常見(jiàn)的NLP任務(wù)，如斷詞，句子切分，部分詞性標(biāo)注，命名實(shí)體提取，分塊，解析和指代消解。

句子探測(cè)器:句子檢測(cè)器是用于檢測(cè)句子邊界

標(biāo)記生成器:該OpenNLP斷詞段輸入字符序列為標(biāo)記。常是這是由空格分隔的單詞，但也有例外。

名稱搜索:名稱查找器可檢測(cè)文本命名實(shí)體和數(shù)字。

POS標(biāo)注器:該OpenNLP POS標(biāo)注器使用的概率模型來(lái)預(yù)測(cè)正確的POS標(biāo)記出了標(biāo)簽組。

細(xì)節(jié)化:文本分塊由除以單詞句法相關(guān)部分，如名詞基，動(dòng)詞基的文字，但沒(méi)有指定其內(nèi)部結(jié)構(gòu)，也沒(méi)有其在主句作用。

分析器:嘗試解析器最簡(jiǎn)單的方法是在命令行工具。該工具僅用于演示和測(cè)試。請(qǐng)從我們網(wǎng)站上的英文分塊

13 Lucene

Lucene是一個(gè)基于Java的全文信息檢索工具包，它不是一個(gè)完整的搜索應(yīng)用程序，而是為你的應(yīng)用程序提供索引和搜索功能。Lucene 目前是 Apache Jakarta(雅加達(dá)) 家族中的一個(gè) 開(kāi)源項(xiàng)目。也是目前最為流行的基于Java開(kāi)源全文檢索工具包。

目前已經(jīng)有很多應(yīng)用程序的搜索功能是基于 Lucene ，比如Eclipse 幫助系統(tǒng)的搜索功能。Lucene能夠?yàn)槲谋绢愋偷臄?shù) 據(jù)建立索引，所以你只要把你要索引的數(shù)據(jù)格式轉(zhuǎn)化的文本格式，Lucene 就能對(duì)你的文檔進(jìn)行索引和搜索。

14 Apache Solr

Solr它是一種開(kāi)放源碼的、基于 Lucene Java 的搜索服務(wù)器。Solr 提供了層面搜索(就是統(tǒng)計(jì))、命中醒目顯示并且支持多種輸出格式。它易于安裝和配置， 而且附帶了一個(gè)基于HTTP 的管理界面?？梢允褂?Solr 的表現(xiàn)優(yōu)異的基本搜索功能，也可以對(duì)它進(jìn)行擴(kuò)展從而滿足企業(yè)的需要。

Solr的特性包括：

?高級(jí)的全文搜索功能

?專為高通量的網(wǎng)絡(luò)流量進(jìn)行的優(yōu)化

?基于開(kāi)放接口（XML和HTTP）的標(biāo)準(zhǔn)

?綜合的HTML管理界面

?可伸縮性－能夠有效地復(fù)制到另外一個(gè)Solr搜索服務(wù)器

?使用XML配置達(dá)到靈活性和適配性

?可擴(kuò)展的插件體系 solr中文分詞

15 機(jī)器學(xué)習(xí)降維

主要特征選取、隨機(jī)森林、主成分分析、線性降維

16 領(lǐng)域本體構(gòu)建方法 ??

1 確定領(lǐng)域本體的專業(yè)領(lǐng)域和范疇

2 考慮復(fù)用現(xiàn)有的本體

3 列出本體涉及領(lǐng)域中的重要術(shù)語(yǔ)

4 定義分類概念和概念分類層次

5 定義概念之間的關(guān)系

17 構(gòu)建領(lǐng)域本體的知識(shí)工程方法：

主要特點(diǎn)：本體更強(qiáng)調(diào)共享、重用，可以為不同系統(tǒng)提供一種統(tǒng)一的語(yǔ)言，因此本體構(gòu)建的工程性更為明顯。

方法：目前為止，本體工程中比較有名的幾種方法包括TOVE 法、Methontology方法、骨架法、IDEF-5法和七步法等。（大多是手工構(gòu)建領(lǐng)域本體）

現(xiàn)狀： 由于本體工程到目前為止仍處于相對(duì)不成熟的階段，領(lǐng)域本體的建設(shè)還處于探索期，因此構(gòu)建過(guò)程中還存在著很多問(wèn)題。

方法成熟度： 以上常用方法的依次為:七步法、Methontology方法、IDEF-5法、TOVE法、骨架法。

總結(jié)

以上是生活随笔為你收集整理的十分钟学习自然语言处理概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。