當(dāng)前位置：首頁 > 人文社科 > 生活经验 >内容正文

生活经验

机器学习实战笔记(Python实现)-03-朴素贝叶斯

發(fā)布時間：2023/11/27 生活经验 25 豆豆

生活随笔收集整理的這篇文章主要介紹了机器学习实战笔记(Python实现)-03-朴素贝叶斯小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

---------------------------------------------------------------------------------------

本系列文章為《機器學(xué)習(xí)實戰(zhàn)》學(xué)習(xí)筆記，內(nèi)容整理自書本，網(wǎng)絡(luò)以及自己的理解，如有錯誤歡迎指正。

源碼在Python3.5上測試均通過，代碼及數(shù)據(jù) -->?https://github.com/Wellat/MLaction

---------------------------------------------------------------------------------------

1、算法概述

1.1 樸素貝葉斯

樸素貝葉斯是使用概率論來分類的算法。其中樸素：各特征條件獨立；貝葉斯：根據(jù)貝葉斯定理。

根據(jù)貝葉斯定理，對一個分類問題，給定樣本特征x，樣本屬于類別y的概率是：

?-------（1）

在這里，x 是一個特征向量，設(shè) x 維度為 M。因為樸素的假設(shè)，即特征條件獨立，根據(jù)全概率公式展開，上式可以表達為：

這里，只要分別估計出，特征?Χ

1.2 算法特點

優(yōu)點：在數(shù)據(jù)較少的情況下仍然有效，可以處理多類別問題。

缺點：對于輸入數(shù)據(jù)的準(zhǔn)備方式較為敏感。

適用數(shù)據(jù)類型：標(biāo)稱型數(shù)據(jù)。

2、使用Python進行文本分類

要從文本中獲取特征，需要先拆分文本。可以把詞條想象為單詞，也可以使用非單詞詞條，如URL、IP地址或者任意其他字符串。然后將每一個文本片段表示為一個詞條向量，其中值為1表示詞條出現(xiàn)在文檔中，0表示詞條未出現(xiàn)。

2.1 準(zhǔn)備數(shù)據(jù)：從文本中構(gòu)建詞向量

 1 from numpy import *
 2 
 3 def loadDataSet():
 4     '''
 5     postingList: 進行詞條切分后的文檔集合
 6     classVec:類別標(biāo)簽    
 7     '''
 8     postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
 9                  ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
10                  ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
11                  ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
12                  ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
13                  ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
14     classVec = [0,1,0,1,0,1]    #1代表侮辱性文字，0代表正常言論
15     return postingList,classVec
16 
17 def createVocabList(dataSet):
18     vocabSet = set([])#使用set創(chuàng)建不重復(fù)詞表庫
19     for document in dataSet:
20         vocabSet = vocabSet | set(document) #創(chuàng)建兩個集合的并集
21     return list(vocabSet)
22 
23 def setOfWords2Vec(vocabList, inputSet):
24     returnVec = [0]*len(vocabList)#創(chuàng)建一個所包含元素都為0的向量
25     #遍歷文檔中的所有單詞，如果出現(xiàn)了詞匯表中的單詞，則將輸出的文檔向量中的對應(yīng)值設(shè)為1
26     for word in inputSet:
27         if word in vocabList:
28             returnVec[vocabList.index(word)] = 1
29         else: print("the word: %s is not in my Vocabulary!" % word)
30     return returnVec
31 '''
32 我們將每個詞的出現(xiàn)與否作為一個特征，這可以被描述為詞集模型(set-of-words model)。
33 如果一個詞在文檔中出現(xiàn)不止一次，這可能意味著包含該詞是否出現(xiàn)在文檔中所不能表達的某種信息,
34 這種方法被稱為詞袋模型(bag-of-words model)。
35 在詞袋中，每個單詞可以出現(xiàn)多次，而在詞集中，每個詞只能出現(xiàn)一次。
36 為適應(yīng)詞袋模型，需要對函數(shù)setOfWords2Vec稍加修改，修改后的函數(shù)稱為bagOfWords2VecMN
37 '''
38 def bagOfWords2VecMN(vocabList, inputSet):
39     returnVec = [0]*len(vocabList)
40     for word in inputSet:
41         if word in vocabList:
42             returnVec[vocabList.index(word)] += 1
43     return returnVec

2.2 訓(xùn)練算法：從詞向量計算概率

計算每個類別的條件概率，偽代碼：

 1 def trainNB0(trainMatrix,trainCategory):
 2     '''
 3     樸素貝葉斯分類器訓(xùn)練函數(shù)(此處僅處理兩類分類問題)
 4     trainMatrix:文檔矩陣
 5     trainCategory:每篇文檔類別標(biāo)簽
 6     '''
 7     numTrainDocs = len(trainMatrix)
 8     numWords = len(trainMatrix[0])
 9     pAbusive = sum(trainCategory)/float(numTrainDocs)
10     #初始化所有詞出現(xiàn)數(shù)為1，并將分母初始化為2，避免某一個概率值為0
11     p0Num = ones(numWords); p1Num = ones(numWords)#
12     p0Denom = 2.0; p1Denom = 2.0 #
13     for i in range(numTrainDocs):
14         if trainCategory[i] == 1:
15             p1Num += trainMatrix[i]
16             p1Denom += sum(trainMatrix[i])
17         else:
18             p0Num += trainMatrix[i]
19             p0Denom += sum(trainMatrix[i])
20     #將結(jié)果取自然對數(shù)，避免下溢出，即太多很小的數(shù)相乘造成的影響
21     p1Vect = log(p1Num/p1Denom)#change to log()
22     p0Vect = log(p0Num/p0Denom)#change to log()
23     return p0Vect,p1Vect,pAbusive

2.3 測試算法

分類函數(shù)：

 1 def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
 2     '''
 3     分類函數(shù)
 4     vec2Classify:要分類的向量
 5     p0Vec, p1Vec, pClass1:分別對應(yīng)trainNB0計算得到的3個概率
 6     '''
 7     p1 = sum(vec2Classify * p1Vec) + log(pClass1)
 8     p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
 9     if p1 > p0:
10         return 1
11     else: 
12         return 0

測試：

 1 def testingNB():
 2     listOPosts,listClasses = loadDataSet()
 3     myVocabList = createVocabList(listOPosts)
 4     trainMat=[]
 5     for postinDoc in listOPosts:
 6         trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
 7     #訓(xùn)練模型，注意此處使用array
 8     p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
 9     testEntry = ['love', 'my', 'dalmation']
10     thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
11     print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
12     testEntry = ['stupid', 'garbage']
13     thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
14     print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))

3、實例：使用樸素貝葉斯過濾垃圾郵件

一般流程：

3.1 切分文本

將長字符串切分成詞表，包括將大寫字符轉(zhuǎn)換成小寫，并過濾字符長度小于3的字符。

1 def textParse(bigString):#
2     '''
3     文本切分
4     輸入文本字符串，輸出詞表
5     '''
6     import re
7     listOfTokens = re.split(r'\W*', bigString)
8     return [tok.lower() for tok in listOfTokens if len(tok) > 2] 
9

3.2 使用樸素貝葉斯進行垃圾郵件分類

 1 def spamTest():
 2     '''
 3     垃圾郵件測試函數(shù)
 4     '''
 5     docList=[]; classList = []; fullText =[]
 6     for i in range(1,26):
 7         #讀取垃圾郵件
 8         wordList = textParse(open('email/spam/%d.txt' % i,'r',encoding= 'utf-8').read())
 9         docList.append(wordList)
10         fullText.extend(wordList)
11         #設(shè)置垃圾郵件類標(biāo)簽為1
12         classList.append(1)        
13         wordList = textParse(open('email/ham/%d.txt' % i,'r',encoding= 'utf-8').read())
14         docList.append(wordList)
15         fullText.extend(wordList)
16         classList.append(0)
17     vocabList = createVocabList(docList)#生成次表庫
18     trainingSet = list(range(50))
19     testSet=[]           #
20     #隨機選10組做測試集
21     for i in range(10):
22         randIndex = int(random.uniform(0,len(trainingSet)))
23         testSet.append(trainingSet[randIndex])
24         del(trainingSet[randIndex])  
25     trainMat=[]; trainClasses = []
26     for docIndex in trainingSet:#生成訓(xùn)練矩陣及標(biāo)簽
27         trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
28         trainClasses.append(classList[docIndex])
29     p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))
30     errorCount = 0
31     #測試并計算錯誤率
32     for docIndex in testSet:
33         wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
34         if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:
35             errorCount += 1
36             print("classification error",docList[docIndex])
37     print('the error rate is: ',float(errorCount)/len(testSet))
38     #return vocabList,fullText

4、實例：使用樸素貝葉斯分類器從個人廣告中獲取區(qū)域傾向

一般流程：

在這個中，我們將分別從美國的兩個城市中選取一些人，通過分析這些人發(fā)布的征婚廣告信息，來比較這兩個城市的人們在廣告用詞上是否不同。

4.1 實現(xiàn)代碼

 1 '''
 2 函數(shù)localWords()與程序清單中的spamTest()函數(shù)幾乎相同，區(qū)別在于這里訪問的是
 3 RSS源而不是文件。然后調(diào)用函數(shù)calcMostFreq()來獲得排序最高的30個單詞并隨后將它們移除
 4 '''
 5 def localWords(feed1,feed0):
 6     import feedparser
 7     docList=[]; classList = []; fullText =[]
 8     minLen = min(len(feed1['entries']),len(feed0['entries']))
 9     for i in range(minLen):
10         wordList = textParse(feed1['entries'][i]['summary'])
11         docList.append(wordList)
12         fullText.extend(wordList)
13         classList.append(1) #NY is class 1
14         wordList = textParse(feed0['entries'][i]['summary'])
15         docList.append(wordList)
16         fullText.extend(wordList)
17         classList.append(0)
18     vocabList = createVocabList(docList)#create vocabulary
19     top30Words = calcMostFreq(vocabList,fullText)   #remove top 30 words
20     for pairW in top30Words:
21         if pairW[0] in vocabList: vocabList.remove(pairW[0])
22     trainingSet = list(range(2*minLen)); testSet=[]           #create test set
23     for i in range(10):
24         randIndex = int(random.uniform(0,len(trainingSet)))
25         testSet.append(trainingSet[randIndex])
26         del(trainingSet[randIndex])  
27     trainMat=[]; trainClasses = []
28     for docIndex in trainingSet:#train the classifier (get probs) trainNB0
29         trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
30         trainClasses.append(classList[docIndex])
31     p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))
32     errorCount = 0
33     for docIndex in testSet:        #classify the remaining items
34         wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
35         if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:
36             errorCount += 1
37     print('the error rate is: ',float(errorCount)/len(testSet))
38     return vocabList,p0V,p1V
39 
40 def calcMostFreq(vocabList,fullText):
41     '''
42     返回前30個高頻詞
43     '''
44     import operator
45     freqDict = {}
46     for token in vocabList:
47         freqDict[token]=fullText.count(token)
48     sortedFreq = sorted(freqDict.items(), key=operator.itemgetter(1), reverse=True) 
49     return sortedFreq[:30]
50 
51 if __name__== "__main__":  
52     #導(dǎo)入RSS數(shù)據(jù)源
53     import operator
54     ny=feedparser.parse('http://newyork.craigslist.org/stp/index.rss')
55     sf=feedparser.parse('http://sfbay.craigslist.org/stp/index.rss')
56     localWords(ny,sf)

轉(zhuǎn)載于:https://www.cnblogs.com/hemiy/p/6194710.html

總結(jié)

以上是生活随笔為你收集整理的机器学习实战笔记(Python实现)-03-朴素贝叶斯的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。