本設計基于Python3.6實現中英文詞頻統計功能

英文詞頻統計

統計哈姆雷特英文版，txt格式文件地址：
hamlet.txt
思路分析：

獲取文件中詞匯

轉換為統一格式，如小寫或者大寫

切割詞匯

循環遍歷進行統計

打印輸出

代碼如下：

#獲取單詞函數定義 def getTxt():txt = open('hamlet.txt').read()txt = txt.lower()for ch in '!"@#$%^&*()+,-./:;<=>?@[\\]_`~{|}': #替換特殊字符txt.replace(ch, ' ')return txt #1.獲取單詞 hamletTxt = getTxt()#2.切割為列表格式 txtArr = hamletTxt.split()#3.遍歷統計 counts = {} for word in txtArr:counts[word] = counts.get(word, 0) + 1#4.轉換格式，方便打印，將字典轉換為列表 countsList = list(counts.items()) countsList.sort(key=lambda x:x[1], reverse=True)#按次數從大到小排序#5.打印 for i in range(10):word, count = countsList[i]print('{0:<10}{1:>5}'.format(word,count))

注意：
1. 代碼counts[word] = counts.get(word, 0) + 1巧妙使用了字典的get函數，一句代碼實現復雜功能
2. 代碼countsList.sort(key=lambda x:x[1], reverse=True)中sort函數的參數要注意

輸出結果：

中文詞頻統計

本文中統計功能基于jieba三方庫統計三國演義，txt格式文件地址：
三國演義.txt
思路分析：

獲取文本字符串

切割字符為列表

循環遍歷進行統計

打印輸出

代碼如下：

import jieba txt = open('threekingdoms.txt','r',encoding='utf-8').read() excludes = ['卻說','二人','不可','軍士','軍馬','引兵','不能','如此',\'商議','荊州','如何','將軍','次日','大喜','左右','天下',\'東吳','于是','今日','不敢','魏兵','陛下','一人','都督',\'人馬','不知','漢中','只見','眾將','后主','蜀兵']#排除詞組 words = jieba.lcut(txt) counts = {} for word in words:if len(word) == 1:continueelif word == '諸葛亮' or word == '孔明曰':reword = '孔明'elif word == '關公' or word == '云長':reword = '關羽'elif word == '玄德' or word == '玄德曰' or word == '主公':reword = '劉備'elif word == '孟德' or word == '丞相':reword = '曹操'else:reword = wordcounts[reword] = counts.get(reword, 0) + 1 #取出非人名詞匯 for key in excludes:del counts[key] #轉換格式，輸出 items = list(counts.items()) items.sort(key=lambda x:x[1], reverse=True) for i in range(10):word, count = items[i]print('{0:<5}{1:>5}次'.format(word, count))

輸出結果：

總結

以上是生活随笔為你收集整理的用Python统计中英文词频的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。