結巴分詞支持以下3種分詞模式：

精確模式。試圖將句子最精確地切開，適合文本分析。

全模式。將句子中所有的可能成詞的詞語都掃描出來，速度非?？?#xff0c;但是不能解決歧義。

搜索引擎模式。在精確模式的基礎上，對長詞再次切分，提高召回率，適用于搜索引擎分詞。

結巴分詞使用的算法是基于統計的分詞方法，主要有如下3種方法：

基于前綴詞典實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖

采用了動態規劃查找最大概率路徑，找出基于詞頻的最大切分組合。

對于未登錄詞，采用了基于漢字成詞能力的HMM模型，使用了Viterbi算法

1、安裝【jieba】庫【pip install jieba】

2、jieba精確模式分詞使用lcut()函數，類似cut()函數，其參數和cut()函數是一致的，只不過返回結果是列表而不是生成器，默認使用精確模式。

默認模式。句子精確地切開，每個字符只會出席在一個詞中，適合文本分析；

import jieba string = '真正的程序員的程序不會在第一次就正確運行，但是他們愿意守著機器進行若干個小時的調試改錯。' result = jieba.lcut(string) print(len(result), '/'.join(result))

?3、全模式【cut_all=True】

?把句子中所有詞都掃描出來, 速度非常快，有可能一個字同時分在多個詞

import jieba string = '真正的程序員的程序不會在第一次就正確運行，但是他們愿意守著機器進行若干個小時的調試改錯。' result = jieba.lcut(string,cut_all=True) print(len(result), '/'.join(result))

4、搜索引擎模式【lcut_for_search()】

在精確模式的基礎上，對長度大于2的詞再次切分，召回當中長度為2或者3的詞，從而提高召回率，常用于搜索引擎。

import jieba string = '真正的程序員的程序不會在第一次就正確運行，但是他們愿意守著機器進行若干個小時的調試改錯。' result = jieba.lcut_for_search(string) print(len(result), '/'.join(result))

希望對大家有所幫助。

總結

以上是生活随笔為你收集整理的python jieba库用法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。