直接上源碼吧

tokenizer類：

#_*_encoding:utf-8_*_

from ctypes import *

class tokenizer:

def __init__(self):

self._stext=['、','“','”','，','。','《','》','：','；','!','‘','’','?','？','！','·',' ',''] #枚舉標(biāo)點符號包括空格

self._stopword_list=[line for line in file('stopword.txt')]

self._stopword_list=map(lambda x: x.strip(),self._stopword_list) # 去掉行尾的空格

def parse(self,text):

atext_list=[]#存放要分詞的文檔

rtext=[]#存放去標(biāo)點符號和分詞后的詞

participle = cdll.LoadLibrary('X:\\API\\ICTCLAS50.dll')

participle.ICTCLAS_Init(c_char_p('X:\\API'))

strlen = len(c_char_p(text).value)

t = c_buffer(strlen*6)

a =participle.ICTCLAS_ParagraphProcess(c_char_p(text),c_int(strlen),t,c_int(3),0)

atext_list=t.value.split(' ')

participle.ICTCLAS_Exit()

rtext=[item for item in atext_list if item not in self._stext]

result_list=[iword for iword in rtext if iword not in self._stopword_list]

return result_list

調(diào)用tokenizer類，test_tokenizer類：

#_*_encoding:utf-8_*_

import tokenizer

text="文本的分類和聚類是一個比較有意思的話題，我以前也寫過一篇blog《基于K-Means的文本聚類算法》，加上最近讀了幾本數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的書籍，因此很想寫點東西來記錄下學(xué)習(xí)的所得。"

list=tokenizer.tokenizer().parse(text)

for item in list:

print item

總結(jié)

以上是生活随笔為你收集整理的评论语义分析 分词 分类python_用python调用ICTCLAS50进行中文分词的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。