當前位置：首頁 > 编程语言 > python >内容正文

python

python统计单词出现次数_用python统计单词出现频率

發布時間：2025/4/5 python 18 豆豆

生活随笔收集整理的這篇文章主要介紹了 python统计单词出现次数_用python统计单词出现频率小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

用python的字典數據結構可以很方便地用來統計一篇文章的每個單詞出現的頻率。在文本相似度計算中，就經常需要用到一個單詞在文章中的出現頻率，進而可以根據兩篇文章共有單詞在相應文章中的頻率比較，來計算相似度。python的強大功能在很大程度上依賴于字典這種數據結構。字典是一種可變的數據結構，和列表相似。它是一種基于key=>value的數據結構，value值可變，但key是不可變變量，value可以是任何一種數據對象，可以是字符串、整數、列表以及字典。

Code:

def add_words(word,words_dict):

"""把單詞添加到words_dict字典里，并計數"""

if word in words_dict:

words_dict[word]+=1

else:

words_dict[word]=1

import string

def process_line(line,words_dict):

"""處理文件每行數據"""

line=line.strip()

words_list=line.split()

for word in words_list:

word=word.lower().strip(string.punctuation) #刪除進過分割的單詞的尾部的一些符號

add_words(word,words_dict) #調用add_words函數，把單詞插入到words_dict字典中

def print_result(words_dict):

"""按格式輸出words_dict中的數據"""

val_key_list=[]

for key,val in words_dict.items():

val_key_list.append((val,key))

val_key_list.sort(reverse=True) #對val值進行逆排序

print "%-10s%-10s" %("word","count")

print "_"*25

for val,key in val_key_list:

print "%-12s %3d" %(key,val)

##################################################

def main():

"""主函數"""

words_dict={}

pFile=open("speech.txt","r")

for line in pFile:

process_line(line,words_dict)

print "the length of the dictionary:",len(words_dict)

print_result(words_dict)

運行結果圖（點擊查看大圖）：

還可以對代碼進一步處理，讓最后結果只輸出頻率大于2以及單詞長度大于3的單詞，在一些應用場景中，我們最后需要的只是那些高頻詞匯以及一些關鍵詞，像“in","is","a"之類的單詞實際上沒有意義。