由于平常學習自然語言處理的很多算法都來源于概率論和數理統計，因此找來陳老先生的著作溫習鞏固一下。具體內容請參考原著，本文僅作個人學習記錄。

1.基本概念

主觀概率：可以理解為一個人針對某一事件的一種心態或傾向性。這種傾向性一是根據其經驗和知識所得，還有可能是根據其自身利害關系所得。主觀概率雖然不具有堅實的客觀理由基礎，但是它卻廣泛存在于我們的生活當中，并可能反映認識主體的一種傾向性，因而具有其社會意義。
事件：概率論中的事件不是指已經發生了的情況，而是指某種（或某些）情況的‘陳述’，它可能發生，也可能不發生，發生與否，要到有關的‘試驗’有了結果以后才能知道。事件特征有三（1）有一個明確界定的試驗；（2）在試驗前就明確了這個試驗的全部可能結果；（3）當有一個明確的陳述界定了試驗結果的全部可能結果中的一個確定的部分，其就叫做一個事件。由于事件是否在某次試驗中的發生取決于機遇，因此在概率論中，事件常稱為“隨機事件”，其極端情況為“必然事件”和“不可能事件”。
古典概率定義：設一個試驗有N個等可能結果，而事件E恰包含其中M個結果，則事件E的概率，記為P(E)=M/N。古典概率只能用于全部試驗結果為有限個且等可能性成立的情況。如果引申為試驗結果有無限多個的情況，就是“幾何概率”，即等面積，等概率。
頻率與概率：頻率只是概率的估計而非概率本身，但當試驗重復次數無限增大時，我們認為此時頻率的極限就是概率。（大數定理） 排列與組合：排列有次序，而組合沒有。 （1）排列公式：n個相異物體取r（1<=r<=n）個的不同排列總數
當n=r時，P=r(r-1)...1=r!，其中 0！=1 （2）組合公式：n個相異物件取r（1<=r<=n）個的不同組合總數。因為每一個包含r個物件的組合都可以產生r！個不同的排列，因此排列數應該是組合數的r！倍。
條件概率定義：設有兩個事件A,B，且P（B）！=0，則“在給定B發生的條件下A的條件概率”，記為P（A|B）=P(AB)/P(B) 證明過程：設一個試驗有N個等可能的結果，事件A、B分別包括其中M1和M2個結果，他們有M12個公共結果，即事件AB所包含的結果。若已經給定B發生，則可能的結果由N個縮減到M2個，其中只有M12個結果使事件A發生，則此時 P(A|B)=M12/M2=(M12/N)/(M2/N)=P(AB)/P(B)
事件的獨立性：兩個事件A、B，A的無條件概率P(A)與其給定條件B發生下的條件概率P(A|B)之間存在一些關聯。若P(A|B)>P(A)，則B發生使A發生的可能性增大了；若P(A|B)=P(A)，則B發生與否對A發生的可能性毫無影響，此時就稱A,B兩事件獨立。結合條件概率公式P(A|B)=P(AB)/P(B)可得，P(AB)=P(A)P(B)。 定理：若干個獨立事件A1,...,An之積的概率等于各事件概率的乘積：P(A1...An)=P(A1)..P(An) 相加是互斥，相乘是獨立！
全概率公式：設B1,B2...為有限或無限個事件，他們兩兩互斥且在每次試驗中至少發生一個，即： （1）BiBj=不可能事件（i！=j）； （2）B1+B2+...=Ω（必然事件）。 這樣的一組事件稱為“完備事件群”。 現考慮一個事件A，因為Ω為必然事件，有A=AΩ=AB1+AB2+... ? 。因B1,B2...兩兩互斥，顯然AB1,AB2...也兩兩互斥，因此有P(A)=P(AB1)+P(AB2)+... 再由條件概率的定義，有 P(ABi)=P(Bi)P(A|Bi).帶入上式得P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+... ?這就是全概率公式，這個名字的意思就是全部概率P(A)被分成許多部分之和，應用的意義在當較復雜的情況下直接算P(A)不容易，但A總是伴隨某個B出現，則可以構造這樣一組Bi來簡化計算。
貝葉斯公式：在全概率公式的假定公式之下，有
這就是神奇的貝葉斯公式。其神奇之處在于：如果我們把事件A看成結果，完備事件群B1,B2...看成導致這個結果可能的原因。則可以把全概率公式看成“由原因推結果”，而貝葉斯公式則是“由結果推原因”。 隨機變量：就是其值隨機會而定的變量。一種叫離散型隨機變量，其特征只能取有限個值，或雖然在理論上能取無限個值，但這些值可以毫無遺漏地一個接一個排列出來。一種叫連續性隨機變量，其全部可能取值不僅是無窮多個，并且還不能無遺漏地逐一排列，而是充滿一個空間。

2.離散型隨機變量的分布

概率函數：設X為離散型隨機變量，其全部可能值為{a1,a2,...}則pi=P(X=ai) （i=1,2...）稱為X的概率函數。 可以知道 pi>=0,p1+p2+...=1 上述公式指出了概率1在其可能值之間如何分布的，因此又稱X的概率函數為隨機變量X的概率分布。 分布函數：設X為一隨機變量，則函數P(X<=x)=F(x)(-∞<x<+∞) 稱為X的分布函數。對離散型隨機變量而言，概率函數與分布函數是等價的，P(X<=x)=F(x)(-∞<x<+∞)=Σpi ?可能概率值的累加 對隨機變量X，其分布函數F(x)具有一下性質： （1）F(x)是單調非降的，當x1<x2,有F(x1)<=F(x2)。這是因為當x1<x2時，事件{X<=x1}蘊含（被包含于）事件{X<=x2}，因而前者的概率不能超過后者的概率； （2）當x取極限正無窮時，F(x)趨近于1，當x取極限負無窮時，F(x)趨近于0。
二項分布： 滿足兩個條件：（1）各次試驗的條件是穩定的，即事件A的概率p在各次試驗中保持不變； ? ?（2）各次試驗的獨立性。 泊松分布：若隨機變量X的可能取值為0,1,2,...，且概率分布為 ， 則稱X服從泊松分布，記為X~P(λ)，λ>0是某一常數，等式右邊對i=0,1,2..求和的結果為1。泊松分布多出現在當X表示在一定的時間或空間內出現的事件個數這種場合。 舉例說明其產生的機制：若觀測一定時間內某交通路口所發生的事故個數。設所觀察的這段時間為[0,1)，取一個很大的自然數n，把時間[0,1)分為等長的n段：L1=[0,1/n), L2=[1/n,2/n),....Li=[(i-1)/n,i/n),....Ln=[(n-1)/n,1)，做幾個假設： （1）在每段Li內，恰發生一個事故的概率，近似的與這段時間的長1/n成正比，即可取為 λ/n,又假定在n很大因而1/n很小時，在Li這么短的一段時間內要發生兩次或更多的事故是不可能的。因此，在Li時段內不發生事故的概率為1-（λ/n）。 （2）L1、L2..Ln各段是否發生事故是獨立的。 即把在[0,1)時段內發生的事故數X視為在n個小時段L1、L2..Ln內有事故的時段數，則此時X應服從二項分布B(n,λ/n)。 但嚴格的講，該公式知識近似成立，因為在假設（1）中，每個時段內發生一次事故的概率只是近似的為λ/n。當n取極限時，就得到確切的答案。當n取極限無窮大時， 第二個公式的取極限結果不太明白（好像為指數函數的公式）！！！ 結合兩式就得出上述的泊松分布，它是由二項分布的極限得到的。

3.連續型隨機變量的分布

概率密度函數，簡稱密度函數：設連續型隨機變量X有概率分布函數F(x)，則F(x)的導數f(x) =F'(x)稱為X的概率密度函數。反映了概率在x點處的密集程度。 連續型隨機變量X的密度函數f(x)都具有以下三條基本性質： （1）f（x）>=0; （2） （3）對任何常數a<b,有
下圖為某一連續型隨機變量X的分布函數F和概率密度函數f

正態分布：如果一個隨機變量具有概率密度函數如下： 則稱X為正態隨機變量，并記為，N是“normal”正態一詞的首字母，括號里為這個分布的參數。正態分布的圖形如上圖中的（b） 是正態分布N(0,1)的密度函數，N(0,1)稱為標準正態分布。

指數分布：若隨機變量X有概率密度函數，如下： 則稱X服從指數分布，其中λ>0為參數。由于當x<=0時f(x)=0，表示隨機變量取負值的概率為0，故X只取正值。下圖中虛線表示當λ=1時指數分布圖形，實線表示當λ=2時指數分布圖形。指數分布最常見的應用場合就是壽命分布。
均勻分布：設隨機變量X有密度函數，如下： 則稱X服從區間[a,b]上的均勻分布，記為X~R(a,b)。 均勻分布的名稱是因為密度函數f在區間[a,b]上為常數，因此在這個區間上，概率在各處的密集程度一樣，或者說，概率均勻地分布在這個區間上。其密度函數f的圖形和分布函數F的圖形如下： 總結：密度函數是對每個可能值的模型表示，分布函數是隨著變量的變化其值累積過程的模型表示。 B分布，又稱beta分布也稱貝塔分布，是指一組定義在區間的連續概率分布，有兩個參數。 其概率密度函數為：

其中是Gamma函數。隨機變量X服從參數為的Β分布通常寫作

4.離散型隨機向量的分布

5.連續型隨機向量的分布

6.邊緣分布

設X=(X1,..,Xn)為一個n維隨機向量，X有一定的分布F，這是一個n維分布。因為X的每個分量Xi都是一維隨機變量，所以他們都有各自的分布Fi，這些都是一維分布。稱為隨機向量X或其分布F的邊緣分布。

7.數學期望

事件X的期望值就等于X的可能值與其每個可能值的概率之積的累加。 定義：設隨機變量X只取有限個可能值a1,...an，其概率分布為P(X=ai)=pi ?（i=1,..,n）。則X的數學期望記為 E(X)=a1p1+a2p2+....+anpn 即隨機變量取值的加權平均值。 性質： （1）若干個隨機變量之和的期望等于各變量的期望之和；假定個變量的期望都存在。 （2）若干個獨立隨機變量之積的期望等于各變量的期望之積； （3）隨機變量函數的期望。

8.大數定理

有時候一個有限的和很難求，但可以利用極限的方法來近似計算，并且一般情況下，和的極限分布就是正態分布。概率論上，習慣把和的分布收斂于正態分布的定理統稱為“中心極限定理”。另一類重要的極限定理就是“大數定理”，它是由概率的統計定義“頻率收斂于概率”引申出來的。“大數”的意思是指涉及大量數目的觀察值Xi，它表明這種定理指出的現象只有在大量次數的試驗和觀察之下才能成立。

9.數理統計學

是指使用概率論和數學的方法，研究怎樣收集（通過試驗或觀察）帶有隨機誤差的數據，并在設定的模型（統計模型）之下，對這種數據進行分析（統計分析），以對所研究的問題做出推斷（統計推斷）。

由于近期有研究任務，不可能整本書細致讀完，等有機會繼續研讀。 未完待續。。。

總結

以上是生活随笔為你收集整理的概率论与数理统计（陈希孺）学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。