浅谈贝叶斯
文章目錄
- 貝葉斯
- 1.貝葉斯決策論
- 2.樸素貝葉斯分類器
- 3.半樸素貝葉斯分類器
- 4.貝葉斯網(wǎng)絡(luò)
- 5.EM算法
貝葉斯
1.貝葉斯決策論
很多朋友都應(yīng)該聽說過貝葉斯決策論，甚至知道其相關(guān)公式，但是對于正確理解貝葉斯決策論可能還有一些小問題，今天我們就來說一說這些問題。
1.1.先驗概率
以拋硬幣為例，假如有人告訴我們所拋硬幣正面朝上的概率p1=0.7，反面朝上的概率p2=0.3。在這種情況下,我們會傾向預(yù)測結(jié)果是正面，因為0.7>0.3，此時錯誤率就是1-0.7=0.3，也就是反面朝上的概率。
對于這種在觀測前我們就知道的概率p1和p2就是先驗概率（指的是在觀測前我們就已知的結(jié)果概率分布 p(y)）。此時我們不需要考慮其他因素，例如硬幣的大小、質(zhì)量等等。
1.2.后驗概率
但在實際情況中，往往有很多因素會對我們的預(yù)測結(jié)果造成不同程度的影響，而并不是像前面一樣不考慮其他因素的影響，所以就有了當(dāng)……因素時，硬幣……的概率是多少，當(dāng)硬幣正面朝上時用數(shù)學(xué)表達式就是p（y=1|x），當(dāng)硬幣反面朝上時用數(shù)學(xué)表達式就是p（y=0|x）。這里的x指的是影響預(yù)測結(jié)果的因素。
ps：這里把正面朝上記為1，反面朝上記為0
這里p（y=1|x）、p（y=0|x）就是我們所說的后驗概率，指的是在觀測到x后我們對結(jié)果y的估計。和 p（y=1） 不同，它不是計算y=1的概率，而是計算僅當(dāng)x被觀測到時y=1的概率
說了這么多那么先驗概率和后驗概率間有怎樣的聯(lián)系呢？
簡單來看，后驗概率可以被看做是對先驗概率的一種“更加細致的刻畫和更新“，因為此時我們觀測到了x，有了額外的信息。
因此后驗概率比先驗概率更有意義，因為我們引入了額外信息，所以預(yù)測結(jié)果會更加準(zhǔn)確。而大部分機器學(xué)習(xí)模型嘗試得到的，就是后驗概率。
1.3.引入貝葉斯公式求解后驗概率
后驗概率這種表達叫做條件概率（conditional probability），一般寫作 p（A|B） ，即僅當(dāng)B事件發(fā)生時A發(fā)生的的概率，假設(shè)p（A）和p（B）都大于0，則有：
于是我們前面的后驗概率就有：
舉個例子：
假設(shè)做了100次硬幣實驗，有大中小三種硬幣（x）。其中30次結(jié)果是反面（y=0），在反面時小硬幣出現(xiàn)6次。在70次正面向上的情況中（y=1）小硬幣出現(xiàn)了7次。我們此時假設(shè)x指的是小硬幣，觀察公式1&2：
分母p（x）代表觀測x為小硬幣出現(xiàn)的概率，那么p（x）=(6+7)/100=0.13
分子上的p（x|y=0）代表當(dāng)結(jié)果是反面時，小硬幣的概率。有實驗結(jié)果可知：p（x|y=0）=6/30=0.2。而分子上的p（y=0）=30/100=0.3
于是我們就可以因此計算當(dāng)觀測到小硬幣時反面的后驗概率：
p(y=0|x)=(0.2*0.3)/0.13=0.46
同理也可計算觀測到小硬幣時正面的后驗概率：
p(y=1|x)=(0.1*0.7)/0.13=0.54
貝葉斯決策的預(yù)測值是選取后驗概率最大的結(jié)果。在二分類問題中，也就是對比p(y=0|x) 和p(y=1|x)的結(jié)果。因為0.54>0.46,因此我們認為觀測到小硬幣時的結(jié)果是正面的概率更大。
1.4.貝葉斯決策論的不足
貝葉斯決策中假設(shè)比較強，實際操作起來并不容易：
很喜歡原作者的這一段話：
拋開統(tǒng)計學(xué)習(xí)不談，貝葉斯思想是對生活也很有指導(dǎo)意義，畢竟我們總是不斷利用先驗（過往的經(jīng)驗）和觀測到現(xiàn)象（x）做出決策（試圖得到后驗概率）。那為什么懂了那么多道理（規(guī)則），卻依然過不好這一生呢（誤差太大）？根本原因在于別人的先驗和我們的可能差別太大了，最終導(dǎo)致了過高的方差以至于過擬合（笑）。
參考文章： 如何簡單理解貝葉斯決策理論（Bayes Decision Theory）？
2.樸素貝葉斯分類器
前面我們說過了如果用單純的貝葉斯公式去計算后驗概率，可能會碰到很多問題，而樸素樸素貝葉斯分類是貝葉斯分類中最簡單，也是常見的一種分類方法。對于一些問題，樸素貝葉斯比直接使用貝葉斯公式更適用。
如何理解樸素貝葉斯算法的樸素一詞
下面給出一個例子：
現(xiàn)在給我們的問題是，如果一對男女朋友，男生想女生求婚，男生的四個特點分別是不帥，性格不好，身高矮，不上進，請你判斷一下女生是嫁還是不嫁？
由貝葉斯公式得：
我們需要求p(嫁|(不帥、性格不好、身高矮、不上進),這是我們不知道的，但是通過貝葉斯公式可以轉(zhuǎn)化為好求的三個量，p(不帥、性格不好、身高矮、不上進|嫁)、p（不帥、性格不好、身高矮、不上進)、p(嫁)
但是有這樣一個等式：
p(不帥、性格不好、身高矮、不上進|嫁) = p(不帥|嫁)*p(性格不好|嫁)*p(身高矮|嫁)*p(不上進|嫁)，那么我就要分別統(tǒng)計后面幾個概率，也就得到了左邊的概率！
為什么這個等式成立呢？學(xué)過概率論可能知道，這個等式成立的條件需要特征間相互獨立。
為什么要相互獨立呢
1.我們這么想，假如沒有這個假設(shè)，那么我們對右邊這些概率的估計其實是不可做的，這么說，我們這個例子有4個特征，其中帥包括{帥，不帥}，性格包括{不好，好，爆好}，身高包括{高，矮，中}，上進包括{不上進，上進}，那么四個特征的聯(lián)合概率分布總共是4維空間，總個數(shù)為233*2=36個。
24個，計算機掃描統(tǒng)計還可以，但是現(xiàn)實生活中，往往有非常多的特征，每一個特征的取值也是非常之多，那么通過統(tǒng)計來估計后面概率的值，變得幾乎不可做，這也是為什么需要假設(shè)特征之間獨立的原因。
2.假如我們沒有假設(shè)特征之間相互獨立，那么我們統(tǒng)計的時候，就需要在整個特征空間中去找，比如統(tǒng)計p(不帥、性格不好、身高矮、不上進|嫁),
我們就需要在嫁的條件下，去找四種特征全滿足分別是不帥，性格不好，身高矮，不上進的人的個數(shù)，這樣的話，由于數(shù)據(jù)的稀疏性，很容易統(tǒng)計到0的情況。 這樣是不合適的。
根據(jù)上面?zhèn)z個原因，樸素貝葉斯法對條件概率分布做了條件獨立性的假設(shè)，由于這是一個較強的假設(shè)，樸素貝葉斯也由此得名！這一假設(shè)使得樸素貝葉斯法變得簡單，但有時會犧牲一定的分類準(zhǔn)確率。
解釋了這些原因以后，我們就可以解決例題了。
由圖知：
p(嫁) = 6/12（總樣本數(shù)） = 1/2
p(不帥|嫁) = 3/6 = 1/2
p(性格不好|嫁)= 1/6
p(矮|嫁) = 1/6
p(不上進|嫁) = 1/6
p（不帥） = 4/12 = 1/3
p（性格不好） = 4/12 = 1/3
p（身高矮） = 7/12
p（不上進） = 4/12 = 1/3
代入公式：
同理得：
顯然，（1/61/211/2）>（1/21/61/61/6）,所以最終答案就是不嫁
參考文章: 帶你理解樸素貝葉斯分類算法.
原文大佬講得非常詳細，大家可以去看看
3.半樸素貝葉斯分類器
半樸素貝葉斯分類器顧名思義是指適當(dāng)考慮一部分屬性間的相互依賴關(guān)系，不同于樸素貝葉斯分類器各特征完全相互獨立，也不直接套用公式不考慮任何獨立性。
其中最常用的策略：假定每個屬性僅依賴于其他最多一個屬性，稱其依賴的這個屬性為其超父屬性，這種關(guān)系稱為：獨依賴估計（ODE）。
因此，對某個樣本x 的預(yù)測樸素貝葉斯公式就由如下：
修正為如下的半樸素貝葉斯分類器公式：
這里pai 為屬性xi所依賴的屬性
采用拉普拉斯修正后的先驗概率P?的計算公式：
基于類c和類外的依賴屬性pai的條件概率計算公式如下：
我們還是給出一個例子來理解半樸素貝葉斯分類器
則先驗概率 P（c），
P(c = 好果）= (4+1) / (10+2) = 5/12
P(c = 一般) = (6+1) / (10+2) = 7/12
帶有依賴屬性的類條件概率：
P(大小=大 | c=好果，形狀=圓形) = (2+1)/(3+2) = 3/5
P(顏色=青色 | c=好果) = (0+1）/(4+2) = 1/6
P(形狀=圓形 | c=好果，大小=大) = (2+1) / (3+2) = 3/5
P(大小=大 | c=一般，形狀=圓形) = (1+1) /( 2+2) = 2/4
P(顏色=青色 | c=一般) = (5+1)/(6+2) = 6/8
P(形狀=圓形 | c=一般，大小=大) = (1+1)/(3+2) = 2/5
因此：
P(c=好果） * P(大小=大 | c=好果，形狀=圓形) * P(顏色=青色 | c=好果) * P(形狀=圓形 | c=好果，大小=大)
= 5/12 * 3/5 * 1/6 * 3/5
= 0.025
P(c=一般） * P(大小=大 | c=一般，形狀=圓形) * P(顏色=紅色 | c=一般) * P(形狀=圓形 | c=一般，大小=大)
= 7/12 * 2/4 * 6/8 * 2/5
= 0.0875
因此，測試集上要預(yù)測的這個樣本和樸素貝葉斯分類器要預(yù)測的結(jié)果是相同的，都為一般的果子。
這種依賴屬性選取算法稱為超父ODE算法：SPODE。顯然，這個算法是每個屬性值只與其他唯一 一個有依賴關(guān)系。基于它之上，又提出另一種基于集成學(xué)習(xí)機制，更為強大的獨依賴分類器，AODE。
這個算法思路很簡單，就是在SPODE算法的基礎(chǔ)上在外面包一個循環(huán)吧，說的好聽點就是嘗試將每個屬性作為超父屬性來構(gòu)建SPODE。
公式：
可能大家對上面的式子后加上一個數(shù)字有疑問，這里實際涉及到了拉普拉斯平滑，具體案例可以參考下面這位大佬的文章。
參考文章: 理解樸素貝葉斯分類的拉普拉斯平滑.
4.貝葉斯網(wǎng)絡(luò)
4.1.什么是貝葉斯網(wǎng)絡(luò)
貝葉斯網(wǎng)絡(luò)是一種模型，用來反應(yīng)世界上一些事物的可能的情況的發(fā)生概率。
任何系統(tǒng)都能用貝葉斯網(wǎng)絡(luò)來模
貝葉斯網(wǎng)由一個有向無環(huán)圖（DAG）和條件概率表（CPT）組成
通過DAG和一組隨機變量表示它們的條件依賴關(guān)系。
學(xué)生示例的貝葉斯網(wǎng)圖
學(xué)生的成績不僅取決于他的智商，同時也取決于課程的難度，課程的難度
因此這個問題包括五個隨機變量，學(xué)生的智商（I）課程的難度（D），考試的成績（G），學(xué)生的SAT成績（S），推薦信的質(zhì)量（L），G可以三個值，其余的都只能取兩個值，因此，聯(lián)合分布可以取值的總數(shù)為48
貝葉斯網(wǎng)可以用有向圖來表示，節(jié)點表示隨機變量，邊表示一個變量對另一個變量的直接影響。
課程的難度和學(xué)生的智商以獨立的方式確定，并且先于模型中的任何變量。學(xué)生的成績同時取決于這兩個變量。SAT只取決于學(xué)生的智商。
所以就有了上圖所示的關(guān)系
ps：模型中的每個變量都直接依賴于其在網(wǎng)絡(luò)中的父節(jié)點。
模型中每個變量X都關(guān)聯(lián)著一個條件概率分布，在已知其父節(jié)點的每種可能聯(lián)合賦值的條件下，用來具體指明X的值的一個分布。對沒有父節(jié)點的節(jié)點，條件概率分布以空變量集為條件。這個網(wǎng)絡(luò)結(jié)構(gòu)和條件概率分布一起組成了貝葉斯網(wǎng)β
貝葉斯網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)
訓(xùn)練貝葉斯網(wǎng)絡(luò)，如果不訓(xùn)練，我們只能知道定性的網(wǎng)絡(luò)，而不能定量。實際上這一步也就 是要完成條件概率（CPT表）的構(gòu)造，如果每個隨機變量的值都是可以直接觀察的，那么這一步的訓(xùn)練就是直觀的。但通常貝葉斯網(wǎng)絡(luò)存在隱藏變量節(jié)點。
假設(shè)DAG已經(jīng)構(gòu)造了，我們要做的就是訓(xùn)練這個DAG網(wǎng)絡(luò)，也就是說調(diào)整CPT的參數(shù)，最優(yōu)化聯(lián)合條件概率。
梯度下降法。
因此，把這種方法應(yīng)用在訓(xùn)練貝葉斯網(wǎng)絡(luò)上。
?1.初始化隨機CPT表中的項目
?2.求Pw （D）在w初始值時的“梯度”。
?3.更新權(quán)重
?4.規(guī)格化權(quán)重
?5.繼續(xù)迭代直至結(jié)束。
轉(zhuǎn)載地址
5.EM算法
在介紹EM算法前我們來看一個問題
兩箱蘋果，其中從A箱中取到一個好蘋果的概率大于從B箱中取得，如果有一堆蘋果來自于A箱和B箱，但是不知道某個蘋果來自于A箱還是B箱，進行了5組實驗，每組抽取10個蘋果，每組抽到的好蘋果和一般蘋果都記錄到紙上，通過這些觀測數(shù)據(jù)，能得出從A或B箱中取到一個好蘋果的概率嗎？
這個預(yù)測，無形中增加了一個隱變量：蘋果出處這屬性吧（取值：A箱或B箱）。在這種情況下，介紹一種常用的估計類似參數(shù)隱變量的利器：Expectation-Maximization 算法（期望最大算法）。EM算法正如它的名字那樣每輪迭代經(jīng)過兩步：E步和M步，迭代，直至收斂。
第一步是計算期望（E），利用對隱藏變量的現(xiàn)有估計值，計算其最大似然估計值；
第二步是最大化（M），最大化在E步上求得的最大似然值來計算參數(shù)的值。M步上找到的參數(shù)估計值被用于下一個E步計算中，這個過程不斷交替進行。
小例
舉個例子，拋硬幣，有兩個硬幣，但是兩個硬幣的材質(zhì)不同導(dǎo)致其出現(xiàn)正反面的概率不一樣，目前我們只有一組觀測數(shù)據(jù)，要求出每一種硬幣投擲時正面向上的概率。總共投了五輪，每輪投擲五次，現(xiàn)在先考慮一種簡單的情況，假設(shè)我們知道這每一輪用的是哪一個硬幣去投擲的：
那么我們拿著這樣的一組數(shù)據(jù)，就可以很輕松的估計出A硬幣和B硬幣出現(xiàn)正面的概率，如下：
PA = （3+1+2）/ 15 = 0.4
PB= （2+3）/10 = 0.5
假如我們不知道用的哪一種硬幣，也就是說硬幣類型是一個隱變量，那怎么辦呢？
那么現(xiàn)在可以想一想，假設(shè)我們把每一次硬幣的種類設(shè)為z,則這五次實驗生成了一個5維的向量(z1,z2,z3,z4,z5)，現(xiàn)在問題來了，如果我們要根據(jù)觀測結(jié)果去求出PA,PB，那么首先需要知道z，但是如果用最大似然估計去估計z，又要先求出PA,PB。這就產(chǎn)生了一個循環(huán)。那么這個時候EM算法的作用就體現(xiàn)出來了，EM算法的基本思想是：先初始化一個PA,PB，然后我們拿著這個初始化的PA,PB用最大似然概率估計出z，接下來有了z之后就用z去計算出在當(dāng)前z的情況下的PA,PB是多少，然后不斷地重復(fù)這兩個步驟直到收斂。
有了這個思想之后現(xiàn)在用這個思想來做一下這個例子，假設(shè)初始狀態(tài)下PA=0.2, PB=0.7，然后我們根據(jù)這個概率去估計出z：
因為這里給的PA=0.2，即是說A類型硬幣正面朝上的概率是0.2，所以對應(yīng)的反面朝上的概率就是0.8，拿第一組為例，就有0.20.20.20.80.8=0.00512，同理可求得為硬幣B的概率就是0.03087
因為0.03087>0.00512,故第一組預(yù)測的硬幣類型為硬幣B
故按照最大似然估計，z=(B,A,A,B,A)，有了z之后我們反過來重新估計一下PA,PB：
PA = （2+1+2）/15 = 0.33
PB =（3+3）/10 = 0.6
可以看到PA,PB的值已經(jīng)更新了，假設(shè)PA,PB的真實值0.4和0.5，那么你在不斷地重復(fù)這兩步你就會發(fā)現(xiàn)PA,PB在不斷地靠近這兩個真實值。
博主真心覺得這個例子對于理解EM算法非常有用，具體公式大家也可以去參考給出這個例子的大佬的博客。
參考文章: 【機器學(xué)習(xí)基礎(chǔ)】EM算法
總結(jié)
- 上一篇： 计算机装逼技巧,【干货来啦】电脑装逼技巧
- 下一篇： Simulink统一模块大小