課程名稱：Artificial Intelligence

人工智能: ?中山大學 ?本科生實驗報告

實驗題目

??樸素貝葉斯法完成文本信息情感分類訓練，要求使用拉普拉斯平滑技巧：
??在給定文本數據集完成文本情感分類訓練，在測試集完成測試，計算準確率。(提示：可借助 sklearn 機器學習庫完成文本特征(tf-idf)提取)
??思考：在前面的文本分類算法中，如果測試文本中的單詞沒有在訓練文本中出現會造成什么結果？
??會影響到后驗概率的計算結果，使分類產生偏差。解決這一問題的方法是采用貝葉斯估計。具體地，方法為：

實驗內容

算法原理

（1）使用read_data()函數分別讀取train.txt和test.txt文件。
（2）將讀取內容的每一行進行加工并打包成node類，方便以后提取使用。
（3）對test.txt文件里的每一行，通過bayes()函數找到在訓練集條件下的最大可能的情感。
（4）將得到的情感與test.txt文件里的情感對比，得到正確個數，并求出正確率。

關鍵代碼展示（帶注釋）

（1）將每一行文本打包

# 打包每一句話的信息 class node:def __init__(self,word_set,dic,emotion,word):self.word_set = word_set # 詞集self.dic = dic # 詞頻self.emotion = emotion # 情感self.word = word # 內容

（2）讀取數據

# 讀取數據 def read_data(file):with open(file,'r') as f:lines = f.readlines()line_num = len(lines) - 1# line_num = 5 # 先讀5行試驗data = []for i in range(1,line_num+1):dic = {}word_set = set([])word = lines[i].split()[3:]emotion = (int)(lines[i].split()[1])for w in word:if w in word_set:dic[w] += 1else:word_set.add(w)dic[w] = 1for w in dic:dic[w] = dic[w]/len(word) data.append(node(word_set,dic,emotion,word)) return datatrain_data = read_data('train.txt') test_data = read_data('test.txt') # for i in range(len(test_data)): # print(test_data[i].word_set) # print(test_data[i].dic) # print(test_data[i].emotion) # print()

（3）貝葉斯函數

# 貝葉斯估計 def bayes(x,train_set):lemd = 1 # 拉普拉斯平滑p = [0]*7for line in train_set:px = 1 # 該句情感下的貝葉斯估計p_k = [0]*len(x) # x(k):第k個元素在train中出現的概率p_k_sum = 0 # x(k)之和for k in range(len(x)):if x[k] in line.word_set:p_k[k] = line.dic[x[k]]else:p_k[k] = 0p_k_sum += p_k[k]for k in range(len(x)):px = px * (p_k[k]+lemd)/(p_k_sum+len(x)*lemd) p[line.emotion] += px / len(train_set) # 默認每個句子的概率都是1/nemo = 0for i in range(7):if p[i]>p[emo]:emo = ireturn emo

（4）計算正確率

# 計算正確率 correct_num = 0 # 正確個數 correct_rate = 0 # 正確率 for test in test_data:emo = bayes(test.word,train_data)if emo == test.emotion:correct_num += 1# print("pre",emo)# print("fact",test.emotion)# print(emo==test.emotion) correct_rate = correct_num/len(test_data) print(correct_rate)

實驗結果及分析
輸入：無
輸出：

總結

以上是生活随笔為你收集整理的贝叶斯算法-情感分类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。