內容簡介

自然語言處理是計算語言學和人工智能之中與人機交互相關的領域之一。 本書是學習自然語言處理的一本綜合學習指南，介紹了如何用Python實現各種NLP任務，以幫助讀者創建基于真實生活應用的項目。全書共10章，分別涉及字符串操作、統計語言建模、形態學、詞性標注、語法解析、語義分析、情感分析、信息檢索、語篇分析和NLP系統評估等主題。 本書適合熟悉Python語言并對自然語言處理開發有一定了解和興趣的讀者閱讀參考。

目錄

第1章 字符串操作1

1.1　切分1

1.1.1　將文本切分為語句2

1.1.2　其他語言文本的切分2

1.1.3　將句子切分為單詞3

1.1.4　使用TreebankWordTokenizer

執行切分4

1.1.5　使用正則表達式實現

切分5

1.2　標準化8

1.2.1　消除標點符號8

1.2.2　文本的大小寫轉換9

1.2.3　處理停止詞9

1.2.4　計算英語中的停止詞10

1.3　替換和校正標識符11

1.3.1　使用正則表達式替換

單詞11

1.3.2　用另一個文本替換文本的

示例12

1.3.3　在執行切分前先執行替換操作12

1.3.4　處理重復字符13

1.3.5　去除重復字符的示例13

1.3.6　用單詞的同義詞替換14

1.3.7　用單詞的同義詞替換的

示例15

1.4　在文本上應用Zipf定律15

1.5　相似性度量16

1.5.1　使用編輯距離算法執行相似性度量16

1.5.2　使用Jaccard系數執行相似性度量18

1.5.3　使用Smith Waterman距離算法執行相似性度量19

1.5.4　其他字符串相似性度量19

1.6　小結20

第2章 統計語言建模21

2.1　理解單詞頻率21

2.1.1　為給定的文本開發

MLE25

2.1.2　隱馬爾科夫模型估計32

2.2　在MLE模型上應用平滑34

2.2.1　加法平滑34

2.2.2　Good Turing平滑35

2.2.3　Kneser Ney平滑40

2.2.4　Witten Bell平滑41

2.3　為MLE開發一個回退機制41

2.4　應用數據的插值以便獲取混合

搭配42

2.5　通過復雜度來評估語言模型42

2.6　在語言建模中應用

Metropolis-Hastings算法43

2.7　在語言處理中應用Gibbs

采樣法43

2.8　小結46

第3章 形態學：在實踐中學習47

3.1　形態學簡介47

3.2　理解詞干提取器48

3.3　理解詞形還原51

3.4　為非英文語言開發詞干

提取器52

3.5　形態分析器54

3.6　形態生成器56

3.7　搜索引擎56

3.8　小結61

第4章 詞性標注：單詞識別62

4.1　詞性標注簡介62

默認標注67

4.2　創建詞性標注語料庫68

4.3　選擇一種機器學習算法70

4.4　涉及n-gram的統計建模72

4.5　使用詞性標注語料庫開發

分塊器78

4.6　小結80

第5章 語法解析：分析訓練資料81

5.1　語法解析簡介81

5.2　Treebank建設82

5.3　從Treebank提取上下文無關

文法規則87

5.4　從CFG創建概率上下文無關

文法93

5.5　CYK線圖解析算法94

5.6　Earley線圖解析算法96

5.7　小結102

第6章 語義分析：意義很重要103

6.1　語義分析簡介103

6.1.1　NER簡介107

6.1.2　使用隱馬爾科夫模型的

NER系統111

6.1.3　使用機器學習工具包訓練

NER117

6.1.4　使用詞性標注執行

NER117

6.2　使用Wordnet生成同義詞

集id119

6.3　使用Wordnet進行詞義消歧122

6.4　小結127

第7章 情感分析：我很快樂128

7.1　情感分析簡介128

7.1.1　使用NER執行情感

分析134

7.1.2　使用機器學習執行情感

分析134

7.1.3　NER系統的評估141

7.2 小結159

第8章 信息檢索：訪問信息160

8.1 信息檢索簡介160

8.1.1　停止詞刪除161

8.1.2　使用向量空間模型進行

信息檢索163

8.2　向量空間評分及查詢操作符

關聯170

8.3　使用隱性語義索引開發IR

系統173

8.4　文本摘要174

8.5　問答系統176

8.6　小結177

第9章 語篇分析：理解才是可信的178

9.1　語篇分析簡介178

9.1.1　使用中心理論執行語篇

分析183

9.1.2　指代消解184

9.2　小結188

第10章 NLP系統評估：性能分析189

10.1　NLP系統評估要點189

10.1.1　NLP工具的評估（詞性標注器、詞干提取器及形態分析器）190

10.1.2　使用黃金數據執行解析器

評估200

10.2　IR系統的評估201

10.3　錯誤識別指標202

10.4　基于詞匯搭配的指標202

10.5　基于句法匹配的指標207

10.6　使用淺層語義匹配的指標207

10.7　小結208

文檔截圖

總結

以上是生活随笔為你收集整理的基于python的语料库数据处理电子版_[异步图书].精通Python自然语言处理[PDF][16.04MB]...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。