jieba

• 中文分詞
• • jieba.cut
• jieba 自定義詞典
• 文本分類的關鍵詞提取

中文分詞

結巴的中文分詞支持3種模式

精確模式：試圖將句子最精確地切開，適合文本分析。

**全模式：**把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但是不能解決歧義問題。

**搜索引擎模式：**在精確模式的基礎上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。

例子：

import jiebaseg_list = jieba.cut(s) #默認是精確模式 print("Default Mode:",'/'.join(seg_list))s = '我來到新華大學' seg_list = jieba.cut(s,cut_all=True) #全模式 print("Full Mode:",'/'.join(seg_list))seg_list = jieba.cut_for_search(s) #搜索引擎模式 print("搜索引擎模式:",'/'.join(seg_list))

結果：

Full Mode: 我/來到/新華/華大/大學 Default Mode: 我/來到/新華/大學 搜索引擎模式: 我/來到/新華/大學

jieba.cut

• 第一個參數為需要分詞的字符串。
• cut_all用來控制分詞的模式

jieba.cut()返回的是一個可以迭代的生成器，可以用for循環來獲得分詞得到得每一個詞語，也可以用list(jieba.cut(...))轉化為列表。

jieba 自定義詞典

基本用法如下：

jieba.load_userdict(file_name) # file_name 為自定義詞典的路徑

詞典格式是一個詞占一行；每一行分三部分，一部分為詞語，另一部分為詞頻，最后一部分為詞性(可省略，jieba的詞性標注方式和ICTCLAS的標注方式一樣。ns為地點名詞，nz為其他專用名詞，a是形容詞，v是動詞，d是副詞)，三部分用空格隔開。例如下面自定義詞典

云計算 5 太和宮 5 ns 李小福 2 nr 凱特琳 2 nz

文本分類的關鍵詞提取

文本分類時，在構建VSM(向量空間模型)過程或者把文本轉換成數學形式計算中，需要運用到關鍵詞提取的技術.jieba可以簡便地提取關鍵詞。

基本用法如下：

jieba. analyse_extract_tag(sentence,topK=20, withweight=False, allow POS=()).

需要先import jibea. analyse，其中sentence為待提取的文本，topK為返回幾個TF.IDF權重最大的關鍵詞，默認值為20。withWeight為是否一并返回關鍵詞權重值，默認值為False。allowPOS僅包含指定詞性的詞，默認值為空，即不進行篩選。

例如：

import jieba,jieba.analyse jieba.load_userdict("dict.txt") text = "故宮的著名景點包括乾清宮、太和殿和午門等。其中乾清宮非常精美，午門是紫禁城得正門，午門居中向陽。" seg_list = jieba.cut(text) print("分詞結果：","/".join(seg_list)) #精確模式 tags = jieba.analyse.extract_tags(text,topK=5) # 獲取關鍵詞 print("關鍵詞：","".join(tags)) tags = jieba.analyse.extract_tags(text,topK=5,withWeight= True) #返回關鍵詞 print(tags)

結果：

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的python之jieba库的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。