許多簡單的概率分布在機(jī)器學(xué)習(xí)的眾多領(lǐng)域中都非常有用，這個(gè)內(nèi)容將分為兩個(gè)部分來說明，第一個(gè)部分介紹伯努利分布、二項(xiàng)式分布、多項(xiàng)式分布及范疇分布，第二個(gè)部分介紹高斯分布、指數(shù)分布、Laplace分布、Dirac分布、經(jīng)驗(yàn)分布及混合分布。

伯努利(Bernoulli)分布

伯努利分布是一種離散分布，有兩種可能的結(jié)果：

• 1表示成功，出現(xiàn)的概率為$p$(其中$0<p<1$)。
• 0表示失敗，出現(xiàn)的概率為$q=1?p$。

這種分布在機(jī)器學(xué)習(xí)中很有用，比如正面或反面，成功或失敗，有缺陷或沒有缺陷，病人康復(fù)或未康復(fù)。
可以用數(shù)學(xué)描述為：隨機(jī)變量$x$只取0和1兩個(gè)值，其概率為：

• $P(x=1)=p$, $P(x=0)=1?p=q$

數(shù)學(xué)期望和方差計(jì)算如下：

• $E(x)=1?p+0?q=p$
• $E(x^2)=1^2?p+0^2?q=p$
• $D(x)=E(x^2)?[E(x){]}^2=p?p^2=p(1?p)=pq$

二項(xiàng)式(Binomial)分布

在$n$次獨(dú)立重復(fù)的伯努利試驗(yàn)中，設(shè)每次試驗(yàn)成功的概率為$p$。用$x$表示$n$重伯努利試驗(yàn)中成功的次數(shù)，則$x$取值為$\{0,1,\dots ,n\}$中的一個(gè)。
對(duì)每一個(gè)$k(0\le k\le n)$，事件$\{x=k\}$表示“$n$次試驗(yàn)成功恰好發(fā)生$k$次”，隨機(jī)變量$x$的離散概率分布即為二項(xiàng)分布（Binomial Distribution）。
典型例子為：扔硬幣，硬幣正面朝上概率為$p$, 重復(fù)扔$n$次硬幣，$k$次為正面的概率即為一個(gè)二項(xiàng)分布概率。
用概率表示如下：

• $P(x=k)=\frac{n!}{k!(n?k)!}{p}^k(1?p{)}^{n?k}$

下圖為不同參數(shù)下的二項(xiàng)式分布的圖形：

多項(xiàng)式(Multinomial)分布

多項(xiàng)式分布是二項(xiàng)式分布的推廣。將二項(xiàng)式分布推廣至多種狀態(tài)，就得到了多項(xiàng)式分布。舉例說明如下：

• 二項(xiàng)式分布：扔硬幣，硬幣正面朝上概率為$p$, 重復(fù)扔$n$次硬幣，$k$次為正面的概率。
• 多項(xiàng)式分布：扔骰子，不同于扔硬幣，骰子有6個(gè)面對(duì)應(yīng)6個(gè)不同的點(diǎn)數(shù)，這樣單次每個(gè)點(diǎn)數(shù)朝上的概率都是$\frac{1}{6}$（對(duì)應(yīng)$p_1$~$p_6$，它們的值不一定都是$\frac{1}{6}$，只要和為1且互斥即可，比如一個(gè)形狀不規(guī)則的骰子），重復(fù)扔$n$次，如果問有$k$次都是點(diǎn)數(shù)6朝上的概率。

更一般化的描述如下：投擲$n$次骰子，這個(gè)骰子共有6種結(jié)果輸出，1點(diǎn)出現(xiàn)概率為$p_1$，2點(diǎn)出現(xiàn)概率$p_2$，$\dots$；多項(xiàng)式分布給出了在$n$次試驗(yàn)中，骰子1點(diǎn)出現(xiàn)$k_1$次，2點(diǎn)出現(xiàn)$k_2$次，3點(diǎn)出現(xiàn)$k_3$次，…，6點(diǎn)出現(xiàn)$k_6$次。這個(gè)結(jié)果組合的概率為:
$f(k_1,k_2,\dots ,k_6;n,p_1,p_2,\dots ,p_6)$
$=P(x_1=k_1,x_2=k_2,\dots ,x_6=k_6)$
$=\frac{n!}{k_1!k_2!\dots k_6!}{p}_1^{k_1}{p}_2^{k_2}\dots p_6^{k_6}$,
約束條件為${\sum }_{i=1}^6{k}_i=n$.
為了更加簡化，用$\Gamma$函數(shù)來表示：
$f(k_1,k_2,\dots ,k_6;n,p_1,p_2,\dots ,p_6)$
$=\frac{\Gamma ({\sum }_{i=1}^6{k}_i+1)}{{\prod }_{i=1}^6\Gamma (k_i+1)}{\prod }_{i=1}^6{p}_i^{k_i}$.
【例題-1】同時(shí)投擲5枚骰子，投擲出2個(gè)一點(diǎn)，2個(gè)二點(diǎn)，1個(gè)三點(diǎn)的概率是多大？
【解答】
$x_1$～$x_6$表示6個(gè)點(diǎn)的出現(xiàn)次數(shù)之和為$n=5$，利用多項(xiàng)式分布組合概率公式有：
$P(x_1=2,x_2=2,x_3=1,x_4=0,x_5=0,x_6=0)$
$=\frac{5!}{2!2!1!0!0!0!}(\frac{1}{6}{)}^2(\frac{1}{6}{)}^2(\frac{1}{6}{)}^1(\frac{1}{6}{)}^0(\frac{1}{6}{)}^0(\frac{1}{6}{)}^0$
$=\frac{5}{1296}$
【例題-2】同時(shí)投擲5枚骰子，出現(xiàn)兩對(duì)點(diǎn)數(shù)一樣的概率是多少？
【解答】
在【例題-1】的基礎(chǔ)之上，需要考慮$x_1$~$x_6$，其中2個(gè)取2，1個(gè)取1有多少種？

$x_1$$x_2$$x_3$$x_4$$x_5$$x_6$

2	2	1	0	0	0
2	0	2	1	0	0
$\dots$	$\dots$	$\dots$	$\dots$	$\dots$	$\dots$

先從6個(gè)里面選擇2個(gè)取2，再從4個(gè)里面選出1個(gè)取1，總共有$C_6^2{C}_4^1=60$種。
出現(xiàn)兩對(duì)點(diǎn)數(shù)一樣的概率為$\frac{5?60}{1296}$ = $\frac{25}{108}$。

范疇(Categorical)分布

范疇分布又稱為Multinoulli分布、類別分布，它是多項(xiàng)式分布的一個(gè)特例。
拋一次骰子，第$x_k$面朝上的概率，這是Categorical分布。

小結(jié)：幾種分布的關(guān)系

• 將一個(gè)小球放入兩個(gè)桶，令變量 $x$ 為第一個(gè)桶里面有的小球個(gè)數(shù)，那么只有 0 個(gè)或者 1 個(gè)，服從伯努利分布；
• 將 $n$個(gè)小球放入兩個(gè)桶，令變量 $x$ 為第一個(gè)桶里面的小球個(gè)數(shù)，那么最少可能有 0 個(gè)，最多可能有 $n$個(gè)，服從二項(xiàng)分布；
• 將一個(gè)小球放入 $k$個(gè)桶，令變量 $x=\{x_1,x_2,\dots ,x_k\}$ 為$k$個(gè)桶內(nèi)的小球個(gè)數(shù)，$x$是一個(gè)One-hot形式的向量，因?yàn)檫@個(gè)小球只能在一個(gè)桶里面，服從Categorical分布；
• 將 $n$個(gè)小球放入 $k$個(gè)桶，令變量 $x=\{x_1,x_2,\dots ,x_k\}$ 為$k$個(gè)桶內(nèi)的小球個(gè)數(shù)，$x$是一個(gè)向量，元素和為 $n$，服從多項(xiàng)分布。

總結(jié)

以上是生活随笔為你收集整理的深度学习(2)--常见概率分布(1)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。