NLP快速入门：手把手教你用HanLP做中文分词
導(dǎo)讀：隨著自然語言處理(Natural Language Processing, NLP)技術(shù)日趨成熟，實(shí)現(xiàn)中文分詞的工具也越來越多。中文分詞技術(shù)作為中文自然語言處理的第一項(xiàng)核心技術(shù)，是眾多上層任務(wù)的首要基礎(chǔ)工作，同時(shí)在日常的工作中起著基礎(chǔ)性的作用。本文將講解如何在Python環(huán)境下調(diào)用HanLP包進(jìn)行分詞，并結(jié)合Python語言簡(jiǎn)約的特性，實(shí)現(xiàn)一行代碼完成中文分詞。
常用中文分詞工具
| 工具名稱 | 是否開源 | 工具描述 |
| Jieba （結(jié)巴分詞） | 免費(fèi)使用 | jieba庫是一款優(yōu)秀的支持 Python 第三方中文分詞庫，jieba支持三種分詞模式：精確模式、全模式和搜索引擎模式。 |
| SnowNLP （中文的類庫） | 免費(fèi)使用 | SnowNLP是一個(gè)python寫的類庫，可以方便的處理中文文本內(nèi)容，是受到了TextBlob的啟發(fā)而寫的，誕生了一個(gè)方便處理中文的類庫。 |
| FoolNLTK （中文處理工具包） | 免費(fèi)使用 | FoolNLTK是基于Bi-LSTM模型訓(xùn)練成的中文分詞工具，僅適用于Linux系統(tǒng)。 |
| Jiagu （甲骨工具包） | 免費(fèi)使用 | Jiagu以BiLSTM等模型為基礎(chǔ)，使用大規(guī)模語料訓(xùn)練而成。集成多種NLP基礎(chǔ)處理功能并支持知識(shí)圖譜開放信息抽取。 |
| HanLP （漢語言處理包） | 免費(fèi)使用 | HanLP是一系列模型與算法組成的NLP工具包，由大快搜索主導(dǎo)并完全開源，目標(biāo)是普及自然語言處理在生產(chǎn)環(huán)境中的應(yīng)用。HanLP具備功能完善、性能高效、架構(gòu)清晰、語料時(shí)新、可自定義的特點(diǎn)。 |
| pyltp （哈工大語言云） | 付費(fèi)使用 | pyltp 是哈工大自然語言工作組推出的一款基于Python 封裝的自然語言處理工具，提供了分詞，詞性標(biāo)注，命名實(shí)體識(shí)別，依存句法分析，語義角色標(biāo)注的功能。 |
THULAC(清華中文詞法分析) | 付費(fèi)使用 | THULAC（THU Lexical Analyzer for Chinese）是由清華大學(xué)自然語言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室研制推出的一套中文詞法分析工具包，具有中文分詞和詞性標(biāo)注功能。 |
NLPIR（漢語分詞系統(tǒng)） | 付費(fèi)使用 | NLPIR大數(shù)據(jù)語義智能分析平臺(tái)由北京理工大學(xué)大數(shù)據(jù)搜索與挖掘?qū)嶒?yàn)室研發(fā)的“自然語言處理與信息檢索共享平臺(tái)。 |
01 什么是中文分詞？
? ? ? 眾所周知，英文是以詞為單位的，詞和詞之間是靠空格隔開。而在漢語中，詞以字為基本單位，但是一篇文章的語義表達(dá)卻仍然是以詞來劃分。例如，英文句子"I am a student"，用中文則為："我是一個(gè)學(xué)生"。計(jì)算機(jī)可以很簡(jiǎn)單通過空格知道"student"是一個(gè)單詞，但是不能很容易明白"學(xué)"、"生"兩個(gè)字合起來才表示一個(gè)詞。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞。"我是一個(gè)學(xué)生"，分詞的結(jié)果是："我 是 一個(gè) 學(xué)生"。因此，需要針對(duì)中文漢字，將其按照一定的方式進(jìn)行組織，分成不同的詞。
? ? ? ?
? ? ? ?中文分詞是讓計(jì)算機(jī)自動(dòng)識(shí)別出句子中的詞，然后在詞間加入邊界標(biāo)記符。這個(gè)過程的主要困難在于分詞規(guī)范、歧義切分和未登陸詞的識(shí)別。
? ? ? ?
? ? ??分詞規(guī)范可以理解為國人并沒有統(tǒng)一對(duì)漢語詞的認(rèn)識(shí)，對(duì)漢語詞的認(rèn)識(shí)的操作尺度很難把握，極易受到主觀因素的影響，從而無法提供一個(gè)公認(rèn)的、具有權(quán)威性的詞表（例如普通說話人的語感與語言學(xué)家的標(biāo)準(zhǔn)就有較大的差異）。
? ? ? ?歧義切分可以舉例如下："南京市長江大橋"的分詞有兩種切分，"南京市\(zhòng)長江大橋" 和?"南京\市長\江大橋"。這種情況在漢語文本中非常普遍，并且處理這類問題往往也要復(fù)雜得多。
? ? ???未登錄詞的識(shí)別（生詞）可以有兩種解釋：一是指已有詞典中沒有收錄的詞；二是指已有的訓(xùn)練語料中未曾出現(xiàn)過的詞。所以從某種意義上來說，生詞對(duì)分詞的影響是最容易處理的。
02 HanLP分詞
1.?安裝HanLP
? ? ? ?HanLP的API總體來說并不多，且需要進(jìn)行的配置并不復(fù)雜，適合新手上手。下載完成后，可以使用如下命令進(jìn)行安裝。要求Python 3.6以上，支持Windows，可以在CPU上運(yùn)行，推薦GPU/TPU。
pip?install?pyhanlp???????注：若未安裝Java則會(huì)報(bào)如下錯(cuò)誤。因?yàn)镠anLP 主項(xiàng)目采用 Java 開發(fā)，所以需要 Java 運(yùn)行環(huán)境，請(qǐng)安裝 JDK。
???????項(xiàng)目Github地址：https://github.com/hankcs/pyhanlp
2. 分詞實(shí)戰(zhàn)
2.1 簡(jiǎn)單實(shí)例?
???????首先，我們通過一個(gè)官網(wǎng)的實(shí)例直觀認(rèn)識(shí)下HanLP的分詞結(jié)果。
import pyhanlp text = '鐵甲網(wǎng)是中國最大的工程機(jī)械交易平臺(tái)' words = [] for?term?in?pyhanlp.HanLP.segment(text):words.append(term.word) print(words)??#輸出分詞結(jié)果???????分詞結(jié)果如下所示。
['鐵甲', '網(wǎng)', '是', '中國', '最大', '的', '工程', '機(jī)械', '交易', '平臺(tái)']2.2 自定義詞典分詞
???????接著，我們通過自定義增加不同領(lǐng)域內(nèi)的專有名詞的詞典，從而進(jìn)一步優(yōu)化HanLP的分詞結(jié)果。
???????分詞結(jié)果如下所示。
['鐵甲網(wǎng)', '是', '中國', '最大', '的', '工程機(jī)械', '交易平臺(tái)']2.3 優(yōu)化分詞代碼
? ?? ? 最后，我們可以利用Python語言的簡(jiǎn)約性將代碼優(yōu)化成如下一行。
? ? ? ?其中，text?存放的是待分詞的文本；
? ? ? ? ?正則表達(dá)式 re.fullmatch(r'[\u4e00-\u9fa5]+',i)?的作用是僅保留漢字，過濾掉非漢字之外的字符。
words?=?[i?for?i?in?[i.word?for?i?in?pyhanlp.HanLP.segment(text)]?if?re.fullmatch(r'[\u4e00-\u9fa5]+',i)]???????當(dāng)然了，HanLP作為開源框架，并不是只有分詞這一個(gè)功能，還提供了很多在分詞之上的算法，如關(guān)鍵詞提取、自動(dòng)摘要、依存句法分析、情感分析等，這里不再贅述。
總結(jié)
以上是生活随笔為你收集整理的NLP快速入门：手把手教你用HanLP做中文分词的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 如何在 ASP.Net Core 中使用
- 下一篇： 我为什么对TypeScript由黑转粉？