你需要付出的，只是心底里那點小小的溫軟，從此堅硬如鐵。

結(jié)巴分詞三種模式

支持3中分詞模式：

1.全模式：把句子中的所有可以成詞的詞語都掃描出來，使用方法：jieba.cut(“字符串”, cut_all=True, HMM=False)

2.精確模式：試圖將文本最精確的分開，適合于做文本分析。使用方法：jieba.cut(“字符串”, cut_all=False, HMM=True)

3.搜索引擎模式：在精確的基礎上對長詞進行進一步的切分。使用方法：jieba.cut_for_search(“字符串”, HMM=False)

函數(shù)jieba.cut接受三個參數(shù)，cut(sentence, cut_all=False, HMM=True)。

其中sentence–>輸入文本,cut_all–>是否為全模式分詞,HMM–>是否開啟HMM進行中文分詞。返回的是一個迭代器，使用for循環(huán)得到分詞后得到的每一個詞語。

代碼演示import sys

import jieba

import jieba.analyse

reload(sys)

sys.setdefaultencoding('utf-8')

data_str='可你覺得孤獨又能怎么樣啊?你覺得孤獨也不過是心情更差而已嘛。以前沒什么人跟你說話，你覺得孤獨，也還是沒人跟你說話啊。'

精準匹配print '/'.join(jieba.cut(data_str,cut_all=False,HMM=True))

運行結(jié)果：

可/你/覺得/孤獨/又/能/怎么樣/啊/?/你/覺得/孤獨/也/不過/是/心情/更差/而已/嘛/。/以前/沒什么/人/跟/你/說話/，/你/覺得/孤獨/，/也/還是/沒人/跟/你/說話/啊/。

全文匹配print '/'.join(jieba.cut(data_str,cut_all=True,HMM=True))

運行結(jié)果：

可/你/覺得/孤獨/又/能/怎么/怎么樣/啊///你/覺得/孤獨/也/不過/是/心情/更/差/而已/嘛///以前/沒什么/什么/人/跟/你/說話///你/覺得/孤獨///也/還是/沒人/跟/你/說話/啊//

搜索引擎模式print '/'.join(jieba.cut_for_search(data_str,HMM=True))

運行結(jié)果：

可/你/覺得/孤獨/又/能/怎么/怎么樣/啊/?/你/覺得/孤獨/也/不過/是/心情/更差/而已/嘛/。/以前/什么/沒什么/人/跟/你/說話/，/你/覺得/孤獨/，/也/還是/沒人/跟/你/說話/啊/。

提取關(guān)鍵詞print '/'.join(jieba.analyse.extract_tags(data_str))

運行結(jié)果：

孤獨/覺得/更差/說話/沒人/沒什么/而已/怎么樣/心情/以前/不過/還是

提高分詞準確性

1 在結(jié)巴中添加詞語

不添加詞語的話是這樣的

data_strs='如果黑暗中的蛾子曾經(jīng)體會過那么一點點光,它也不會不惜把整個世界都燒起來,只為了讓自己暖和起來。'

print '/'.join(jieba.analyse.extract_tags(data_strs,topK=20))

運行結(jié)果：

蛾子/暖和/不惜/一點點/起來/體會/黑暗/曾經(jīng)/整個/為了/那么/不會/世界/如果/自己

添加自定義的詞語后

jieba.add_word('黑暗中的蛾子')

print '/'.join(jieba.analyse.extract_tags(data_strs,topK=20))

運行結(jié)果：

黑暗中的蛾子/暖和/不惜/一點點/起來/體會/曾經(jīng)/整個/為了/那么/不會/世界/如果/自己

可以看到提取的關(guān)鍵詞改變了，這種方法適用于小型的提取關(guān)鍵詞方法，如果數(shù)據(jù)量很大的話，可以吧自定義的關(guān)鍵詞保存在一個字典(就是使用新的詞庫)里面，然后調(diào)用這個字典即可。

2 添加自定義詞庫

首先下載或者配置好一個詞庫，然后加載一下即可。(路徑不要弄錯了，可以放在當前目錄下)

詞典格式和 dict.txt 一樣，一個詞占一行；每一行分三部分：詞語、詞頻(可省略)、詞性(可省略)，用空格隔開，順序不可顛倒。file_name 若為路徑或二進制方式打開的文件，則文件必須為 UTF-8 編碼。

字典的格式：

云計算 5

李小福 2 nr

創(chuàng)新辦 3 i

easy_install 3 eng

好用 300

韓玉賞鑒 3 nz

八一雙鹿 3 nz

臺中

凱特琳 nz

Edu Trust認證 2000

加載字典：

jieba.load_userdict("userdict.txt")

后面的代碼就和前面一樣了。

總結(jié)

以上是生活随笔為你收集整理的python jieba分词教程_Python jieba分词的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。