記得大二的時(shí)候，概率論里面有全概率公式這么一個(gè)東西，可是當(dāng)時(shí)僅僅為了應(yīng)付考試并沒有體會(huì)到貝葉斯的強(qiáng)大，接觸機(jī)器學(xué)習(xí)之后，漸漸體會(huì)到貝葉斯的神奇，也能通過貝葉斯來解釋更多的模型。

• 貝葉斯由來
  • 與日常思維相似的推導(dǎo)過程
  • 由已知推導(dǎo)未知
• 貝葉斯的應(yīng)用
  • 樸素貝葉斯
  • 貝葉斯網(wǎng)絡(luò)
• 換個(gè)角度理解貝葉斯
• 貝葉斯與正則化防止過擬合

貝葉斯由來

與日常思維相似的推導(dǎo)過程

• 以下是火影忍者劇情中的某個(gè)日常:
  第一集:某風(fēng)和日麗的上午,三代目火影翻閱著暗部遞交上來的各國偵查信息,突然暗部X跑來告知,漩渦鳴人又來惡搞歷代火影的雕像了!作為成年村長,三代目肯定要迅速想一下這事的可能性,總不能別人突然跑來跟你說歷代火影復(fù)活入侵了你就發(fā)動(dòng)最高戒備吧.
  [稍等,頻道切換一下:我們假定事件A為{歷代火影的雕像被**了},事件B為{這是鳴人闖禍干的},三代目現(xiàn)在要考慮的是概率P(B|A)]
  鳴人的日常基本就是各種惡作劇引起村人的注意力,而且他最大的武器就是惡搞雕像[P(B|A)=(P(A|B)P(B)P(A),鳴人的闖禍概率比較大,而他惡搞雕像更是他闖禍的日常,且不論P(yáng)(A),因?yàn)镻(A)這個(gè)雕像從之前來看..基本上偶爾發(fā)生一次,比較固定]
  大腦快速の推斷,你覺得推斷出來的結(jié)果是鳴人闖禍而且惡搞了雕像的概率是很大的.然后…..巴拉巴拉一堆
• 成語三人成虎背后的貝葉斯推理
  假如暗部Y跑進(jìn)來說,X說錯(cuò)了,是志乃干的,三代目腦袋里迅速的響應(yīng)志乃惡作劇的概率(先驗(yàn)概率),志乃平時(shí)溫和的性格以及較低的存在感,三代目覺得這肯定不可能.然后Z,K,W等等一堆暗部也跑進(jìn)來了,都說是志乃干的!漸漸的,三代目開始懷疑了,由于一大堆人都說是志乃干的,腦子里對(duì)應(yīng)的P(A|B)已經(jīng)很大了,這個(gè)時(shí)候,三代目開始逐漸懷疑是否是志乃了,最后認(rèn)為這很大可能性就是志乃干的!畢竟那么多人都說是他啊.

由已知推導(dǎo)未知

貝葉斯表達(dá)的數(shù)學(xué)式子可以讓我們從現(xiàn)在所有的經(jīng)驗(yàn)知識(shí)中推導(dǎo)某個(gè)事件發(fā)生的概率,這就是貝葉斯對(duì)于傳統(tǒng)的統(tǒng)計(jì)方法最大的區(qū)別.

• 比如現(xiàn)在我們手上有一些醫(yī)療數(shù)據(jù),需要根據(jù)醫(yī)療數(shù)據(jù)對(duì)老百姓提供一個(gè)合理的降低患癌率的建議.那么我們就要知道各種不良生活習(xí)慣對(duì)于致癌的影響多大對(duì)吧.
• 現(xiàn)在我們想知道患癌是抽煙引起的可能性是多少?我們可以通過調(diào)研以下數(shù)值來提供一個(gè)參考:
  
  • 老百姓的患癌率是多少
  • 老百姓抽煙的人群比例是多少
  • 抽煙的人群中患了癌癥的比例又是多少呢

• 然后我們可以通過貝葉斯公式根據(jù)已知的統(tǒng)計(jì)數(shù)值來的到我們之前想要但是又統(tǒng)計(jì)不出來的結(jié)果.

  多么NICE的一件事!~~~

貝葉斯的應(yīng)用

樸素貝葉斯

腦洞打開——-所有的特征都是相互獨(dú)立的!!!

• 我們通過一個(gè)經(jīng)典的數(shù)據(jù)集Adult引入樸素貝葉斯,給出一些居民的個(gè)人信息,比如,種族,學(xué)歷,工種,年齡,年收入是否大于20W.然后給出另外一批居民類似的個(gè)人信息,但是不知道他們的年收入,現(xiàn)在讓你根據(jù)居民的信息做出預(yù)測(cè)其個(gè)人的年收入是否達(dá)到了20W.
  -現(xiàn)在我們需要最大化p(Y|X),根據(jù)貝葉斯公式我們有P(Y|X)=P(X|Y)(Y)P(X)
• 對(duì)于某個(gè)居民的信息,P(X),P(Y)對(duì)應(yīng)的值都是一樣的,所以我們重點(diǎn)關(guān)注P(X|Y),然而我們已經(jīng)假設(shè)了所有的特征之間都是相互獨(dú)立的,所以我們有P(X|Y)=∑ni=1P(xi|Y)
• 所以我們現(xiàn)在可以通過統(tǒng)計(jì)獲得以上的P(xi|Y)通過比較不同的Y對(duì)應(yīng)的計(jì)算結(jié)果,就可以預(yù)測(cè)該居民的年收入時(shí)候是大于20W的概率更大還是不夠20W的概率更大了
• 具體的數(shù)學(xué)推導(dǎo):舉個(gè)例子,假設(shè)僅有兩維的特征
• P(x0,x1|Y)=P(x0,x1,Y)P(Y)=P(Y)?P(x0|P(Y)?P(x1|x0,Y)P(Y)=P(x0|Y)?P(x1|x0,Y)
• 由于x0,x1是完全獨(dú)立的,所以x0發(fā)生與否與x1的發(fā)生概率并沒有任何關(guān)系,所以上面式子中的條件x0可以略去.
• 即:P(x0|Y)?P(x1|y),更多的特征緯度以此類推.

貝葉斯網(wǎng)絡(luò)

在樸素貝葉斯中，我們假設(shè)各個(gè)特征之間都是相互獨(dú)立的，然而實(shí)際的情況下各個(gè)特征之間都不是完全獨(dú)立的，就拿上一節(jié)中提到的訓(xùn)練集來說，某些職業(yè)的培養(yǎng)成本比較高，需要接受十余年的教育才能從事相關(guān)的工作(eg.醫(yī)學(xué)類專業(yè)）所以某些需要高學(xué)歷的職業(yè)更大概率在高學(xué)歷年齡偏大的人群中。為了解決這個(gè)問題，學(xué)術(shù)界提出了貝葉斯網(wǎng)絡(luò)的概念。

和樸素貝葉斯不同的是,貝葉斯網(wǎng)絡(luò)是一個(gè)圖模型,相對(duì)于樸素貝葉斯,它具備以下的優(yōu)點(diǎn):
- 模型強(qiáng)調(diào)了特征之間的關(guān)系,增強(qiáng)了特征之間的聯(lián)動(dòng),特別是當(dāng)數(shù)據(jù)中的某個(gè)特征缺失的時(shí)候,可以通過它的相關(guān)節(jié)點(diǎn)來提供一定的參考信息,在特征缺失的情況下表現(xiàn)也不俗
- 模型通過訓(xùn)練學(xué)習(xí)到特征之間的因果關(guān)系(類似導(dǎo)引中提到的學(xué)歷和職業(yè)之間的關(guān)系),從而增進(jìn)我們對(duì)數(shù)據(jù)集的了解,通過學(xué)習(xí)模型,我們可能發(fā)現(xiàn)新的不曾注意道的因果關(guān)系
- 通過貝葉斯公式的共軛分布我們可以很好地解決過擬合帶來的問題,提升模型的泛華能力

換個(gè)角度理解貝葉斯

貝葉斯與正則化防止過擬合

總結(jié)

以上是生活随笔為你收集整理的致敬贝叶斯以及自己对贝叶斯的一些见解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。