更多正態分布的介紹，參見

? ? ? ??正態分布的前世今生（1）

? ? ? ??正態分布的前世今生（2）

>>>>

六、開疆擴土，正態分布的進一步發展

19世紀初，隨著拉普拉斯中心極限定理的建立與高斯正態誤差理論的問世，正態分布開始嶄露頭角，逐步在近代概率論和數理統計學中大放異彩。在概率論中，由于拉普拉斯的推動，中心極限定理發展成為現代概率論的一塊基石。而在數理統計學中，在高斯的大力提倡之下，正態分布開始逐步暢行于天下。

6.1 論劍中心極限定理

在這個問題的處理上，拉普拉斯充分展示了其深厚的數學分析功底和高超的概率計算技巧，他首次引入了特征函數(也就是對概率密度函數做傅立葉變換)來處理概率分布的神妙方法，而這一方法經過幾代概率學家的發展，在現代概率論里面占有極其重要的位置。基于這一分析方法，拉普拉斯通過近似計算，在他的1812年的名著《概率分析理論》中給出了中心極限定理的一般描述：

多么奇妙的性質，隨意的一個概率分布中生成的隨機變量，在序列和(或者等價的求算術平均)的操作之下，表現出如此一致的行為，統一的規約到正態分布。

概率學家們進一步的研究結果更加令人驚訝，序列求和最終要導出正態分布的條件并不需要這么苛刻，即便X1,?,Xn并不獨立，也不具有相同的概率分布形式，很多時候他們求和的最終歸宿仍然是正態分布。一切的紛繁蕪雜都在神秘的正態曲線下被消解，這不禁令人浮想聯翩。中心極限定理恐怕是概率論中最具有宗教神秘色彩的定理，如果有一位牧師拿著一本圣經向我證明上帝的存在，我是絲毫不會買賬；可是如果他向我展示中心極限定理并且聲稱那是神跡，我可能會有點猶豫，從而樂意傾聽他的布道。如果我能坐著時光機穿越到一個原始部落中，我也一定會帶上中心極限定理，并勸說部落的酋長把正態分布作為他們的圖騰。

中心極限定理雖然表述形式簡潔，但是嚴格證明它卻非常困難。中心極限定理就像一張大蜘蛛網，棣莫弗和拉普拉斯編織了它的雛形，可是這張網上漏洞太多，一個多世紀來，數學家們就像蜘蛛一樣前赴后繼，努力想把所有的漏洞都補上。在十九世紀，珀松(Poission)、狄利克萊(Dirichlet)、柯西(Cauchy)、貝塞爾(Bessel)這些大蜘蛛都曾經試圖對把這張網上的漏洞補上。從現代概率論來看角度，整個十九世紀的經典概率理論并沒有能輸出一個一般意義下嚴格的證明。而真正把漏洞補上的是來自俄羅斯的幾位蜘蛛俠：切比雪夫(Chebyshev)、馬爾可夫(Markov)和李雅普諾夫(Lyapunov)。俄羅斯是一個具有優秀的數學傳統的民族，產生過幾位頂尖的的數學家，在現代概率論的發展中，俄羅斯的圣彼得堡學派可以算是頂了半邊天。把漏洞補上的嚴格方案的雛形是從切比雪夫1887年的工作開始的，不過切比雪夫的證明存在一些漏洞。馬爾可夫和李雅普諾夫都是切比雪夫的學生，馬爾科夫沿著老師的基于矩法的思路在蜘蛛網上辛勤編織，但洞還是補得不夠嚴實；李雅普諾夫不像馬爾可夫那樣深受老師的影響，他沿著拉普拉斯當年提出的基于特征函數的思路，于1901年給出了一個補洞的方法，切比雪夫對這個方法大加贊賞，李雅普諾夫的證明被認為是第一個在一般條件下的嚴格證明；而馬爾科夫也不甘示弱，在1913年基于矩法也把洞給補嚴實了。

【華山論劍】

20世紀初期到中期，中心極限定理的研究幾乎吸引了所有的概率學家，這個定理儼然成為了概率論的明珠，成為了各大概率論武林高手華山論劍的場所。不知道大家對中心極限定理中的“中心”一詞如何理解，許多人都認為'中心'這個詞描述的是這個定理的行為：以正態分布為中心。這個解釋看起來確實合情合理，不過并不符合該定理被冠名的歷史。事實上，20世紀初概率學家大都稱呼該定理為極限定理(LimitTheorem)，由于該定理在概率論中處于如此重要的中心位置，如此之多的概率學武林高手為它魂牽夢繞，于是數學家波利亞(G.Polya)于1920年在該定理前面冠以'中心'一詞，由此后續人們都稱之為中心極限定理。

數學家們總是極其嚴謹苛刻的，在一個給定條件下嚴格證明了中心極限定理之后，數學家就開始探尋中心極限定理成立的各種條件，詢問這個條件是否充分必要條件，并且進一步追問序列和在該條件下以什么樣的速度收斂到正態分布。從1922年Lindeberg基于一個比較寬泛容易滿足的條件，給中心極限定理提出了一個很容易理解的初等證明。這個條件我們現在稱之為Lindeberg條件。然后概率學家費勒和列維就開始追問Lindeberg條件是充分必要的嗎？基于Lindeberg的工作，費勒和列維都于1935年獨立的得到了中心極限定理成立的充分必要條件，這個條件可以用直觀的非數學語言描述如下：

[中心極限定理充要條件]假設獨立隨機變量序列Xi的中值為0。要使序列和S=∑i=1nXi的分布函數逼近正態分布，以下條件是充分必要的:

· ? ? ? ?1. 如果Xi相對于序列和S的散布(也就是標準差)是不可忽略的，則Xi的分布必須接近正態分布

· ? ? ? ?2. 對于所有可忽略的Xi,取絕對值最大的那一項，這個絕對值相對于序列和也是可忽略的

事實上這個充分必要條件發現的優先權，費勒和列維之間還著實出現了一些爭論，當然他們倆都是獨立的在幾乎同一時間解決了這一個問題。在列維證明這個充分必要條件的過程中，他發現了正態分布的一個有趣的性質：我們在數理統計中都學過，如果兩個獨立隨機變量X,Y具有正態分布，則S=X+Y也具有正態分布；奇妙的是這個定理的逆定理也成立：

[正態分布的血統]如果X,Y是獨立的隨機變量，且S=X+Y是正態分布，那么X,Y也是正態分布。

正態分布真是很奇妙，就像蚯蚓一樣具有再生的性質，你把它一刀兩斷，它生成兩個正態分布；或者說正態分布具有極其高貴的優良血統，正態分布的組成成分中只能包含正態分布，而不可能含有其它雜質。一流的數學家都是接近上帝的人，善于猜測上帝的意圖；1928年Levy就猜到了這個定理，并在1935年使用這個定理對中心極限定理的充分必要條件作了證明。有意思的是列維卻無法證明正態分布的這個看上去極其簡單的再生性質，所以他的證明多少讓人覺得有些瑕疵。不過列維的救星很快就降臨了，1936年Cramer證明他的猜想完全正確。

中心極限定理成為了現代概率論中首屈一指的定理，事實上中心極限定理在現代概率論里面已經不僅是指一個定理，而是指一系列相關的定理。統計學家們也基于該定理不斷地完善拉普拉斯提出的元誤差理論，并據此解釋為何世界上正態分布如此常見。而中心極限定理同時成為了現代統計學中大樣本理論的基礎。

6.2 進軍近代統計學

花開兩朵，各表一枝。上面說了正態分布在概率論中的發展，現在來看看正態分布在數理統計學中發展的故事。這個故事的領銜主演是凱特勒(Adolphe Quetelet)和高爾頓(FrancisGalton)。

由于高斯的工作，正態分布在誤差分析中迅速確定了自己的地位。有了這么好的工具，我們可能拍腦袋就認為，正態分布很快就被人們用來分析其它的數據，然而事實卻出乎我們的意料，正態分布進入社會領域和自然科學領域，可是經過一番周折的。

首先我要告訴大家一個事實：誤差分析和統計學是兩個風馬牛不相及的兩個學科；當然這個事實存在的時間是19世紀初之前。統計學的產生最初與“編制國情報告”有關，主要服務于政府部門。統計學面對的是統計數據，是對多個不同對象的測量；而誤差分析研究的是觀測數據，是對同一個對象的多次測量。因此觀測數據和統計數據在當時被認為兩種不同行為獲取得到的數據，適用于觀測數據的規律未必適用于統計數據。19世紀的統計數據分析處于一個很落后的狀態，和概率論沒有多少結合。而概率論的產生主要和賭博相關，發展過程中與誤差分析緊密聯系，而與當時的統計學交集非常小。將統計學與概率論真正結合起來推動數理統計學發展的便是我們的統計學巨星凱特勒。

凱特勒這名字或許不如其它數學家那么響亮，估計很多人不熟悉，所以有必要介紹一下。凱特勒是比利時人，數學博士畢業，年輕的時候曾追隨拉普拉斯學習過概率論。此人學識淵博，涉獵廣泛，腦門上的桂冠包括統計學家、數學家、天文學家、社會學家、國際統計會議之父、近代統計學之父、數理統計學派創始人。凱特勒的最大的貢獻就是將法國的古典概率引入統計學，用純數學的方法對社會現象進行研究。

1831年，凱特勒參與主持新建比利時統計總局的工作。他開始從事有關人口問題的統計學研究。在這種研究中，凱特勒發現,以往被人們認為雜亂無章的、偶然性占統治地位的社會現象，如同自然現象一樣也具有一定的規律性。凱特勒搜集了大量關于人體生理測量的數據，如體重、身高與胸圍等，并使用概率統計方法來對數據進行數據分析。但是當時的統計分析方法遭到了社會學家的質疑，社會學家們的反對意見主要在于：社會問題與科學實驗不同，其數據一般由觀察得到，無法控制且經常不了解其異質因素，這樣數據的同質性連帶其分析結果往往就有了問題，于是社會統計工作者就面臨一個如何判斷數據同質性的問題。凱特勒大膽地提出：

【把一批數據是否能很好地擬合正態分布，作為判斷該批數據同質的標準。】

凱特勒提出了一個使用正態曲線擬合數據的方法，并廣泛的使用正態分布去擬合各種類型的數據。由此，凱特勒為正態分布的應用拓展了廣闊的舞臺。正態分布如同一把屠龍刀，在他的帶領下，學者們揮舞著這把寶刀在各個領域披荊斬棘，攻陷了人口、領土、政治、農業、工業、商業、道德等社會領域，并進一步攻占天文學、數學、物理學、生物學、社會統計學及氣象學等自然科學領域。

正態分布的下一個推動力來自生物學家高爾頓，當正態分布與生物學聯姻時，近代統計學迎來了一次大發展。高爾頓是生物統計學派的奠基人，他的表哥達爾文的巨著《物種起源》問世以后，觸動他用統計方法研究遺傳進化問題。受凱特勒的啟發，他對正態分布懷有濃厚的興趣，開始使用正態分布去擬合人的身高、胸圍、以至考試成績等各類數據，發現正態分布擬合得非常好。他因此相信正態曲線是適用于無數情況的一般法則。

然而，對高爾頓而言，這個無處不在的正態性給他帶來一些困惑。他考察了親子兩代的身高數據，發現遵從同一的正態分布，遺傳作為一個顯著因素是如何發揮作用的？1877年，高爾頓設計了一個叫高爾頓釘板(quincunx,或者Galton board)的裝置，模擬正態分布的性質用于解釋遺傳現象。

如下圖中每一點表示釘在板上的一顆釘子，它們彼此的距離均相等。當小圓球向下降落過程中，碰到釘子后皆以1/2的概率向左或向右滾下。如果有n排釘子，則各槽內最終球的個數服從二項分布B(n,1/2),當n較大的時候，接近正態分布。

【高爾頓釘板】

設想在此裝置的中間某個地方AB設一個擋板把小球截住，小球將在AB處聚成正態曲線形狀，如果擋板上有許多閥門，打開一些閥門，則在底部形成多個大小不一的正態分布，而最終的大正態分布正式這些小正態分布的混合。

【高爾頓釘板解釋遺傳現象】

高爾頓利用這個裝置創造性的把正態分布的性質用于解釋遺傳現象。他解釋說身高受到顯著因素和其它較小因素的影響，每個因素的影響可以表達為一個正態分布。遺傳作為一個顯著因素，類似圖中底部大小不一的正態分布中的比較大的正態分布，而多個大小不一正態分布累加之后其結果仍然得到一個正態分布。

高爾頓在研究身高的遺傳效應的時候，同時發現一個奇特的現象：高個子父母的子女，其身高有低于其父母身高的趨勢，而矮個子父母的子女，其身高有高于其父母的趨勢，即有“回歸”到普通人平均身高去的趨勢，這也是“回歸”一詞最早的含義。高爾頓用二維正態分布去擬合父代和子代身高的數據，同時引進了回歸直線、相關系數的概念，從而開創了回歸分析這門技術。

可以說，高爾頓是用統計方法研究生物學的第一人，他用實際行動開拓了凱特勒的思想；為數理統計學的產生奠定了基礎。無論是凱特勒還是高爾頓，他們的統計分析工作都是以正態分布為中心的，在他們的影響下，正態分布獲得了普遍認可和廣泛應用，甚至是被濫用，以至有些學者認為19世紀是正態分布在統計學中占統治地位的時代。

6.3 數理統計三劍客

最后，我們來到了20世紀，正態分布的命運如何呢？如果說19世紀是正態分布在統計學中獨領風騷的話，20世紀則是數理統計學蓬勃發展、百花齊放的時代。1901年，高爾頓和他的學生卡爾·皮爾遜(Karl Pearson)、韋爾登（W.F.R Weldon)創辦《生物計量》(Biometrika)雜志，成為生物統計學派的一面旗幟，引導了現代數理統計學的大發展。統計學的重心逐漸由歐洲大陸向英國轉移，使英國在以后幾十年數理統計學發展的黃金時代充當了領頭羊。

在20世紀以前，統計學所處理的數據一般都是大量的、自然采集的，所用的方法以拉普拉斯中心極限定理為依據，總是歸結到正態。到了19世紀末期，數據與正態擬合不好的情況也日漸為人們所注意：進入20世紀之后，人工試驗條件下所得數據的統計分析問題，日漸被人們所重視。由于試驗數據量有限，那種依賴于近似正態分布的傳統方法開始招致質疑，這促使人們研究這種情況下正確的統計方法問題。

在這個背景之下，統計學三大分布χ2分布、t分布、F分布逐步登上歷史舞臺。這三大分布現在的理科本科生都很熟悉。在歷史上，這三個分布和來自英國的現代數理統計學的三大劍客有著密切的關系。

【數理統計三劍客】

第一位劍客就是卡爾·皮爾遜(KarlPearson)，手中的寶劍就是χ2分布。χ2分布這把寶劍最早的鍛造者其實是物理學家麥克斯韋，他在推導空氣分子的運動速度的分布的時候，發現分子速度在三個坐標軸上的分量是正態分布，而分子運動速度的平方v2符合自由度為3的χ2分布。麥克斯韋雖然造出了這把寶劍，但是真正把它揮舞得得心應手、游刃有余的是皮爾遜。在分布曲線和數據的擬合優度檢驗中，χ2分布可是一個利器，而皮爾遜的這個工作被認為是假設檢驗的開山之作。皮爾遜繼承了高爾頓的衣缽，統計功力深厚，在19世紀末20世紀初很長的一段時間里，一直被數理統計武林人士尊為德高望重的第一大劍客。

第二位劍客是戈塞特(W.S.Gosset)，筆名是大家都熟悉的學生氏(Student)，而他手中的寶劍是t分布。戈塞特是化學、數學雙學位，依靠自己的化學知識進釀酒廠工作，工作期間考慮釀酒配方實驗中的統計學問題，追隨卡爾·皮爾遜學習了一年的統計學，最終依靠自己的數學知識打造出了t分布這把利劍而青史留名。1908年，戈塞特提出了正態樣本中樣本均值和標準差的比值的分布，并給出了應用上極其重要的第一個分布表。戈塞特在t分布的工作是開創了小樣本統計學的先河。

第三位劍客是費希爾(R.A.Fisher)，手持F分布這把寶劍，在一片荒蕪中開拓出方差分析的肥沃土地。F分布就是為了紀念費希爾而用他的名字首字母命名的。費希爾劍法飄逸，在三位劍客中當屬費希爾的天賦最高，各種兵器的使用都得心應手。費希爾統計造詣極高，受高斯的啟發，系統地創立了極大似然估計劍法，這套劍法現在被尊為統計學參數估計中的第一劍法。

費希爾還未出道，皮爾遜已經是統計學的武林盟主了，兩人歲數相差了33歲，而戈塞特介于他們中間。三人在統計學擂臺上難免切磋劍術。費希爾天賦極高，年少氣盛；而皮爾遜為人強勢，占著自己武林盟主的地位，難免固執己見，以大欺小；費希爾著實受了皮爾遜不少氣。而戈塞特性格溫和，經常在兩人之間調和。畢竟是長江后浪推前浪，一代新人換舊人，在眾多擂臺比試中，費希爾都技高一籌，而最終取代了皮爾遜成為數理統計學第一大劍客。

20世紀初，統計學這三大劍客成為了現代數理統計學的奠基人。以哥塞特為先驅，費歇爾為主將，掀起了小樣本理論的革命，事實上提升了正態分布在統計學中的地位。在數理統計學中，除了以正態分布為基礎的小樣本理論獲得了空前的勝利，其它分布上都沒有成功的案例，這不能不讓人對正態分布刮目相看。在隨后的發展中，相關回歸分析、多元分析、方差分析、因子分析、布朗運動、高斯過程等等諸多統計分析方法陸續登上了歷史舞臺，而這些和正態分布密切相關的方法，成為推動現代統計學飛速發展的一個強大動力。

—THE END—

文章推薦

?勸你別再悶頭自學NLP了！！！請收下這套自然語言處理(NLP)算法學習路線！

?數學家比10個師更有威力？| 美國在第二次世界大戰中勝利的原因之一

?耶魯校長：這才是判斷一個人受過教育的鐵證！

?趣文 | π里包含了所有可能的數字組合嗎？

?我們計劃招收300名數學算法愛好者，免費系統學習傅立葉變換

?泰勒級數的物理意義

總結

以上是生活随笔為你收集整理的正态分布的前世今生（3）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。