tf–idf算法python代碼實(shí)現(xiàn)

這是我寫的一個(gè)tf-idf的簡(jiǎn)單實(shí)現(xiàn)的代碼，我們知道tfidf=tf*idf，所以可以分別計(jì)算tf和idf值在相乘，首先我們創(chuàng)建一個(gè)簡(jiǎn)單的語料庫，作為例子，只有四句話，每句表示一個(gè)文檔

copus=['我正在學(xué)習(xí)計(jì)算機(jī)','它正在吃飯','我的書還在你那兒','今天不上班']

由于中文需要分詞，jieba分詞是python里面比較好用的分詞工具，所以選用jieba分詞，文末是jieba的鏈接。首先對(duì)文檔進(jìn)行分詞：

import jieba

copus=['我正在學(xué)習(xí)計(jì)算機(jī)','它正在吃飯','我的書還在你那兒','今天不上班']

copus= [[word for word in jieba.cut(doc)] for doc in copus]

print(copus)

輸出結(jié)果：

[['我', '正在', '學(xué)習(xí)', '計(jì)算機(jī)'], ['它', '正在', '吃飯'], ['我', '的', '書', '還', '在', '你', '那兒'], ['今天', '不', '上班']]

文檔變成我們想要的格式了，然后開始詞頻統(tǒng)計(jì)，計(jì)算tf值，這里用Counter類來把每篇文檔都轉(zhuǎn)換成詞和詞頻的字典，其實(shí)就已經(jīng)得到tf值了

tf = []

for doc in copus:

tf.append(Counter(doc))

print(tf)

輸出結(jié)果：

[Counter({'我': 1, '正在': 1, '學(xué)習(xí)': 1, '計(jì)算機(jī)': 1}), Counter({'它': 1, '正在': 1, '吃飯': 1}), Counter({'的': 1, '書': 1, '你': 1, '在': 1, '那兒': 1, '我': 1, '還': 1}), Counter({'今天': 1, '不': 1, '上班': 1})]

計(jì)算idf值

import math

from collections import defaultdict

idf = defaultdict(int)

for doc in tf:

for word in doc:

idf[word] += 1

for word in idf:

idf[word] = math.log(len(idf)/(idf[word]+1))

print(idf)

輸出結(jié)果：

defaultdict(, {'的': 2.0149030205422647, '正在': 1.6094379124341003, '學(xué)習(xí)': 2.0149030205422647, '計(jì)算機(jī)': 2.0149030205422647, '今天': 2.0149030205422647, '書': 2.0149030205422647, '那兒': 2.0149030205422647, '它': 2.0149030205422647, '不': 2.0149030205422647, '在': 2.0149030205422647, '吃飯': 2.0149030205422647, '我': 1.6094379124341003, '你': 2.0149030205422647, '還': 2.0149030205422647, '上班': 2.0149030205422647})

剩下的事情就很簡(jiǎn)單了，只需要把tf和idf相乘就可以了。

下面是一個(gè)tfidf的實(shí)現(xiàn)代碼

from collections import Counter,defaultdict

import jieba

import math

def file2list(file):

'''

把文件轉(zhuǎn)換成列表，并對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的預(yù)處理

'''

with open(file) as f:

corpus = f.readlines()

corpus = [[word.replace('\n','') for word in jieba.cut(line)] for line in corpus if line.strip()]

return corpus

#c = file2list('E:\hei.txt')

def get_tf(corpus):

return [Counter(doc) for doc in corpus]#用Counter函數(shù)把每篇文檔轉(zhuǎn)換成詞和詞頻的字典

def get_idf(tf_dict):

idf = defaultdict(int)

for doc in tf_dict:

for word in doc:

idf[word] += 1

for word in idf:

idf[word] = math.log(len(idf)/(idf[word]+1))#idf的公式

return idf

def get_tfidf(doc_id,file):

'''doc_id是語料庫中文檔的id，file是txt的路徑'''

corpus = file2list(file)

tf = get_tf(corpus)

idf = get_idf(tf)

if doc_id > len(tf):

print("doc_id should smaller than %i"%len(tf))

else:

id_tf= tf[doc_id-1]

for word in id_tf:

id_tf[word] = id_tf[word]*idf[word]#計(jì)算tfidf值

print(id_tf)

總結(jié)

以上是生活随笔為你收集整理的tfidf算法 python_tf–idf算法解释及其python代码实现(下)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。