2019獨角獸企業重金招聘Python工程師標準>>>

.輸入一個段落，分成句子（Punkt句子分割器）

import?nltk?? import?nltk.data??def?splitSentence(paragraph):??tokenizer?=?nltk.data.load('tokenizers/punkt/english.pickle')??sentences?=?tokenizer.tokenize(paragraph)??return?sentences??if?__name__?==?'__main__':??print?splitSentence("My?name?is?Tom.?I?am?a?boy.?I?like?soccer!")?? 結果為['My name is Tom.', 'I am a boy.', 'I like soccer!']

2.輸入一個句子，分成詞組

from?nltk.tokenize?import?WordPunctTokenizer????def?wordtokenizer(sentence):??#分段??words?=?WordPunctTokenizer().tokenize(sentence)??return?words??if?__name__?==?'__main__':??print?wordtokenizer("My?name?is?Tom.")?? 結果為['My', 'name', 'is', 'Tom', '.']

?

轉載于:https://my.oschina.net/u/3346994/blog/911733

總結

以上是生活随笔為你收集整理的利用NLTK进行分句分词的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。