對(duì)于一個(gè)句子，一種簡(jiǎn)單的方法是使用split()

a = 'This is an apple. Do you like apple?' b = a.split() print(b) # ['This', 'is', 'an', 'apple.', 'Do', 'you', 'like', 'apple?']

可以看到切分結(jié)果不錯(cuò)，但標(biāo)點(diǎn)符號(hào)也當(dāng)成了詞的一部分，可以使用正則表達(dá)式來切分句子，其中分隔符是除字母，數(shù)字外的任意字符串。

import rea = 'This is an apple. Do you like apple?' b = re.split(r'\W+', a) print(b) # ['This', 'is', 'an', 'apple', 'Do', 'you', 'like', 'apple', '']

得到的詞列表已不包含符號(hào)，但是含有空字符串，同時(shí)單詞也混有大小寫，將其改進(jìn)得到

import rea = 'This is an apple. Do you like apple?' b = re.split(r'\W+', a) c = [word.lower() for word in b if len(word) > 0] print(c) # ['this', 'is', 'an', 'apple', 'do', 'you', 'like', 'apple']

?

總結(jié)

以上是生活随笔為你收集整理的Python切分文本（将文本文档切分为词列表）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。