一、引言

最近寫了許多關(guān)于機器學習的學習筆記，里面經(jīng)常涉及概率論的知識，這里對所有概率論知識做一個總結(jié)和復習，方便自己查閱，與廣大博友共享，所謂磨刀不誤砍柴工，希望博友們在這篇博文的幫助下，閱讀機器學習的相關(guān)文獻時能夠更加得心應(yīng)手！這里只對本人覺得經(jīng)常用到的概率論知識點做一次小結(jié)，主要是基本概念，因為機器學習中涉及概率論的地方，往往知道基本概念就不難理解，后面會不定期更新，希望博友們多留言補充。

二、古典概率論中的幾個重要的公式

$P(\bar{A})=1-P(A)$

$P(A-B)=P(A)-P(AB)$

$P(A+B)=P(A)+P(B)-P(AB)$

$P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

對于 $n$ 個事件?$A_{1},A_{2},A_{3},\ldots,A_{n}$，兩兩互斥，則?$P(\cup_{i=1}^{n}A_{i})=\sum_{i=1}^{n}P(A_{i})$

二、貝葉斯(Bayes)公式

通常把事件 A的概率 P(A)叫做實驗前的假設(shè)概率，即先驗概率(prior?probability)，如果有另一個事件 B 與事件 A 有某種關(guān)系，即事件 A 和 B 不是互相獨立的，那么當事件 B 確實發(fā)生之后，則應(yīng)當重新估計事件 A的概率，即 P(A| B), 這叫做條件概率或者試驗后的假設(shè)概率，即后驗概率(posterior?probability).

公式一：

再引入全概率公式：設(shè)事件A當前僅當互不相容的事件(即任意兩個事件不可能同時發(fā)生的)

(i = 1, 2 , ... n) 中的任意一個事件發(fā)生時才可能發(fā)生，已知事件?

?的概率?

?及事件 A 在?

?已發(fā)生的條件下的條件概率，則事件 A 發(fā)生的概率為：

這就是全概率公式.

根據(jù)概率乘法定理：

我們可以得到：

于是：

再根據(jù)上面介紹的全概率公式，則可得到傳說中的貝葉斯公式：

這些公式定理幾乎貫穿整個機器學習，很基本，也很重要！

三、常用的離散隨見變量分布

“0-1”分布": 設(shè)隨機變量 X 只能取得兩個數(shù)值：0與1，而概率函數(shù)是：

?通常把這種分布叫做“0-1”分布或者兩點分布，

是分布參數(shù).

二項分布(binomial distribution): 設(shè)隨機變量 X 可能的的值是0, 1, 2, ..., n,而概率函數(shù)是：

其中

，這種分布叫做二項分布，含有兩個參數(shù)

?和?

,通常把這種分布記作

，如果隨見變量 X 服從二項分布

，記作

3. ?泊松(Possion)分布: 設(shè)隨機變量 X 的可能值是一切非負整數(shù)，而概率函數(shù)是：

其中λ > 0 為常數(shù)，這種分布叫做泊松分布。泊松分布就含有一個參數(shù)λ ，記作P(λ), 如果隨機變量 X 服從泊松分布，則記作X~P(λ)

四、隨機變量的分布函數(shù)

設(shè) x是任何實數(shù)，考慮隨機變量 X 取得的值不大于??x的概率，即事件 X?≤???x的概率，記作 F(x) = P(X ≤ x), 這個函數(shù)叫做隨機變量 X 的概率分布函數(shù)或者分布函數(shù)，注意區(qū)別于上面講到的概率函數(shù).

如果已知隨機變量 X 的分布函數(shù) F(X), 則隨見變量 X 落在半開區(qū)間 (x1, x2] 內(nèi)的概率：P(x1 < X ≤ x2) = F(x2) - F(x1)

五、連續(xù)隨機變量的概率密度

連續(xù)隨機變量的概率密度就是分布函數(shù)的導函數(shù)

六、隨機變量的數(shù)學期望

如果隨機變量 X 只能取得有限個值：

而取得有限個值得概率分別是：

則數(shù)學期望：

如果連續(xù)隨機變量 X 的概率密度為

，則連續(xù)隨機變量的數(shù)學期望：

一個常數(shù)的的數(shù)學期望等于這個常數(shù)本身。

定理：兩個獨立隨機變量的乘積的數(shù)學期望等于它們數(shù)學期望的乘積。證明如下：

對于離散隨機變量 X 與 Y 獨立：

對于連續(xù)隨機變量?X?與 Y 獨立：

七、方差與標準差

隨機變量 X 的方差記作 D(X),定義為：

下面證明一個很有用的公式(會用到性質(zhì)：一個常數(shù)的的數(shù)學期望等于這個常數(shù)本身)：

簡而言之：隨機變量的方差等于變量平方的期望減去期望的平方.

標準差就是方差的算術(shù)平方根。

常數(shù)的方差為0.

八、協(xié)方差與相關(guān)系數(shù)

隨機變量 X 與 隨機變量 Y 的協(xié)方差記作:

進一步推導可得：

因為兩個獨立隨機變量乘積的期望等于兩個隨機變量各自期望的乘積，于是當兩個隨機變量獨立使，很容易得到它們的協(xié)方差為0.

兩個隨機變量 X 與 Y 的 相關(guān)系數(shù)為：

兩個隨機變量的相關(guān)系數(shù)的絕對值不大于1.

當且僅當隨機變量 Y 與 X?之間存在線性關(guān)系：

時，相關(guān)系數(shù)

的絕對值等于1，并且

九、正態(tài)分布

正態(tài)分布又叫高斯分布，設(shè)連續(xù)隨機變量 X 的概率密度

其中?μ 及?σ>0 都是常數(shù)，這種分布就是正態(tài)分布.

正態(tài)分布含有兩個參數(shù)?μ 及?σ>0，其中μ等于正態(tài)分布的數(shù)學期望，而?σ 等于正態(tài)分布的標準差,通常把這種分布記作

，隨機變量 X 服從正態(tài)分布

，則記為：

定理 設(shè)隨機變量 X 服從正態(tài)分布

，則 X 的線性函數(shù) Y= a + bX(b≠0)也服從正態(tài)分布，且有

先總結(jié)這么多，以后遇到重要的概率論知識點會繼續(xù)補充！

總結(jié)

以上是生活随笔為你收集整理的机器学习中用到的概率知识_机器学习中有关概率论知识的小结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。