下載一首英文的歌詞或文章

news=''' ''',

生成詞頻統計

sep=''',.;:''""''' for c in sep:news=news.replace(c,' ')wordlist=news.lower().split()wordDict={} for w in wordlist:wordDict[w]=wordDict.get(w,0)+1 ''' wordSet=set(wordlist) for w in wordSet:wordDict[w]=wordlist.count(w) ''' for w in wordDict:print(w, wordDict[w])

　　部分演示效果如下圖所示：

排序

wordSet=set(wordlist) for w in wordSet:wordDict[w]=wordlist.count(w) dictList=list(wordDict.items()) dictList.sort(key=lambda x:x[1],reverse=True)print(dictList)

　　效果演示如下圖所示：

排除語法型詞匯，代詞、冠詞、連詞

exclude={'the','a','an','and','of','with','to','by','am','are','is','which','on'} wordSet=set(wordlist)-exclude for w in wordSet:wordDict[w]=wordlist.count(w) dictList=list(wordDict.items()) dictList.sort(key=lambda x:x[1],reverse=True)print(dictList)

　　效果演示如下圖所示：

輸出詞頻最大TOP20

for i in range(20):print(dictList[i])

　　效果演示如下圖所示：

將分析對象存為utf-8編碼的文件，通過文件讀取的方式獲得詞頻分析內容。

print('author:xujinpei') f=open('news.txt','r') news=f.read() f.close() print(news)

　　效果演示如下圖所示：

?中文詞頻統計，下載一長篇中文文章。

import jieba#打開文件 file = open("gzccnews.txt",'r',encoding="utf-8") notes = file.read(); file.close();#替換標點符號 sep = '''：。，？！；∶ ．．．“”''' for i in sep:notes = notes.replace(i,' ');notes_list = list(jieba.cut(notes));#排除單詞 exclude =[' ','\n','你','我','他','和','但','了','的','來','是','去','在','上','高']#方法②,遍歷列表 notes_dict={} for w in notes_list:notes_dict[w] = notes_dict.get(w,0)+1# 排除不要的單詞 for w in exclude:del (notes_dict[w]);for w in notes_dict:print(w,notes_dict[w])# 降序排序 dictList = list(notes_dict.items()) dictList.sort(key=lambda x:x[1],reverse=True); print(dictList)#輸出詞頻最大TOP20 for i in range(20):print(dictList[i])#把結果存放到文件里 outfile = open("top20.txt","a") for i in range(20):outfile.write(dictList[i][0]+" "+str(dictList[i][1])+"\n") outfile.close();

?效果演示如下圖所示：

轉載于:https://www.cnblogs.com/xujinpei/p/8658461.html

總結

以上是生活随笔為你收集整理的词频统计预处理之综合练习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。