1 高斯分布

高斯分布也稱為正態(tài)分布，大家都很熟悉，但有些性質(zhì)這里有必要提下。一元高斯分布的密度函數(shù)為：

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(?\frac{(x?\mu {)}^2}{2{\sigma }^2})$$

從函數(shù)圖像看，高斯密度函數(shù)是個鐘形曲線，關(guān)于 $\mu$ 對稱，在 $\mu$ 處函數(shù)值最大，遠(yuǎn)離中心點 $\mu$ ，函數(shù)值快速下降，下降速度是指數(shù)平方。遠(yuǎn)離中心點 $3\sigma$ 距離，函數(shù)值幾乎為零，故函數(shù)值幾乎位于中心點正負(fù) $3\sigma$ 范圍內(nèi)。$\mu$ 稱為位置參數(shù)，$\sigma$ 稱為尺度參數(shù)。

高斯分布的期望為 $\mu$ ，方差為 ${\sigma }^2$ 。期望為 0 ，方差為 1 的高斯分布稱為標(biāo)準(zhǔn)高斯分布，方差為 1 也稱為單位方差。

多元高斯分布，其密度函數(shù)為：

$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}(det\Sigma {)}^{1/2}}exp(?\frac{1}{2}(\mathbf{x}?\mu {)}^T{\Sigma }^{?1}(\mathbf{x}?\mu ))$$

期望為均值向量 $\mu$ ，協(xié)方差為矩陣 $\Sigma$ 是對稱正定矩陣，$n$ 為向量維度。

高斯分布在理論和實踐中特別重要，因為其具有如下重要性質(zhì)。

1、高斯分布的線性變換仍然是高斯分布，即 $\mathbf{x}$ 是高斯隨機(jī)向量，$\mathbf{y}=A\mathbf{x}$ 是其線性變換，則 $\mathbf{y}$ 也是高斯隨機(jī)向量，其均值向量為 $A{\mu }_x$ ，協(xié)方差矩陣為 $A{\Sigma }_x{A}^T$ 。

2、高斯分布的邊緣密度和條件密度仍然是高斯分布。

這兩條性質(zhì)使高斯分布在數(shù)學(xué)上十分容易處理，使用起來很方便。其他分布如均勻分布一般沒有上面兩種性質(zhì)，這表明高斯分布的獨特性。

3、獨立性和不相關(guān)性等價，即協(xié)方差矩陣為對角陣時，高斯隨機(jī)向量每個分量是獨立的。反之亦然，高斯隨機(jī)向量每個分量是獨立時，協(xié)方差矩陣為對角陣。

對于其他分布的隨機(jī)變量，雖獨立性能推導(dǎo)出不相關(guān)性，但不相關(guān)性不等價于獨立性，獨立性是強于相關(guān)性的，也就是說，不相關(guān)性只考慮了二階矩，但獨立性不僅包含二階矩，還包含各種高階矩。高斯分布僅由一階和二階矩決定，這也是高斯分布獨特性的表現(xiàn)。

如果協(xié)方差矩陣 $\Sigma$ 不是對角陣時，可通過線性變換使變換后的向量是獨立的，變換方法就是 PCA 變換。假設(shè)高斯隨機(jī)向量中心化后 $\mathbf{x}$，均值向量為 $0$ ，因為協(xié)方差矩陣 $\Sigma$ 是對稱正定矩陣，根據(jù)對稱矩陣譜分解定理有 $\Sigma =UD{U}^T$ ，則隨機(jī)向量 $\mathbf{y}=U^T\mathbf{x}$ 的協(xié)方差矩陣為對角陣，分量獨立。進(jìn)一步，隨機(jī)向量 $\mathbf{z}=D^{?1/2}\mathbf{y}=D^{?1/2}{U}^T\mathbf{x}$ 的協(xié)方差矩陣為單位陣，稱為白化獨立高斯分布。

4、高斯分布具有極大熵。

熵的定義。熵是信息論的基本概念。對于離散隨機(jī)變量，熵定義為：

$$H(X)=?\sum _{i}P(X=a_i)logP(X=a_i)$$

式中， $a_i$ 是 $X$ 的可能取值，$P(X=a_i)$ 是其概率。熵的物理含義是，隨機(jī)變量越是『隨機(jī)』，也就是說，越是難以預(yù)測和非結(jié)構(gòu)化，熵就越大。如果對隨機(jī)變量進(jìn)行編碼，則熵大致上反映了平均最小編碼長度，熵越大則編碼長度越大。

對于連續(xù)隨機(jī)變量 $\mathbf{x}$，其密度函數(shù)為 $p(\mathbf{x})$ ，熵定義為：

$$H=?\int p(\mathbf{x})logp(\mathbf{x})d\mathbf{x}$$

同理，如果隨機(jī)變量集中在某個小的區(qū)間，熵就小。

協(xié)方差矩陣為單位陣的所有隨機(jī)變量中，高斯變量具有極大熵，這說明高斯分布最隨機(jī)，最難以預(yù)測和無結(jié)構(gòu)。這是高斯分布物理上的獨特性。

線性變換的熵，令 $\mathbf{y}=A\mathbf{x}$ ，則 $H(\mathbf{y})=H(\mathbf{x})+log|detA|$ 。這表明熵不是尺度不變的。但當(dāng)變換矩陣是正交矩陣時 $A=Q$ ，由于 $|detQ|=1$ ，有 $H(\mathbf{y})=H(\mathbf{x})$ 成立。

5、中心極限定理

假設(shè)從均勻分布中隨機(jī)抽取 $n$ 個樣本，則這些樣本顯然是均勻分布。當(dāng) $n$ 較大時，這些樣本均值接近分布均值，當(dāng) $n$ 無窮大時，這些樣本均值依概率無限接近分布均值。這些都是顯而易見的結(jié)論。我們考慮中間狀態(tài)，我們每次抽取 $m$ 個樣本并計算其均值，抽取 $n$ 次，每次得到一個均值，現(xiàn)在考慮所得到的 $n$ 個均值滿足什么分布？根據(jù)上面結(jié)論，當(dāng) $m=1$ 時，均值就是單個樣本值，分布顯然還是原來的分布即均勻分布。當(dāng) $m$ 趨于無窮大時，均值應(yīng)該無限接近一個常數(shù)–分布均值，則均值分布必然很集中，在分布均值附近概率很高，稍微遠(yuǎn)離分布均值，概率快速減小。這個概率密度性質(zhì)非常類似高斯分布！中心極限定理從理論上給出了確定的答案，設(shè)從均值為 $\mu$、方差為 ${\sigma }^2$ （有限）的任意分布中隨機(jī)抽取 $m$ 個樣本，當(dāng) $m$ 充分大時，這 $m$ 個樣本均值的分布近似服從均值為 $\mu$、方差為 ${\sigma }^2/m$ 的高斯分布。

有兩點需要指出，第一點，實踐中 $m$ 需要充分大，但也不需要太大。一般認(rèn)為 $m>30$ 即可讓中心極限定理發(fā)揮作用。第二點，樣本分布是任意分布，可以是已知也可以是未知的，樣本均值分布都服從高斯分布。

上述定理是中心極限定理最簡單又最常用的一種形式，其實中心極限定理是概率論中的一組定理。上述定理中樣本都來自同一分布，其實在適當(dāng)?shù)臈l件下，隨機(jī)抽取的 $m$ 個樣本不需要來自同一分布，可以來自不同分布，每個分布可以是任意分布，只要 $m$ 個樣本滿足獨立性要求，即每個樣本之間是互相獨立的，則這些分布不同的 $m$ 個樣本均值的分布還是近似服高斯分布。即對于大量獨立隨機(jī)變量來說，不論其中各個隨機(jī)變量的概率密度函數(shù)是什么，也不論它們是已知還是未知，當(dāng)獨立隨機(jī)變量的個數(shù)充分大時，它們的均值分布函數(shù)都可以用正態(tài)分布來近似。這個廣義中心極限定理是數(shù)理統(tǒng)計和誤差分析的理論基礎(chǔ)。在自然界與生產(chǎn)中，一些現(xiàn)象受到許多相互獨立的隨機(jī)因素的影響，如果每個因素所產(chǎn)生的影響都很微小時，總的影響可以看作是服從正態(tài)分布的。測量誤差就可以看作是受很多獨立微小因素的影響，所以服從正態(tài)分布，這是生產(chǎn)中認(rèn)為誤差服從高斯分布的理論基礎(chǔ)。生物體很多特征也服從高斯分布，比如身高、智力等。中心極限定理是高斯分布在實踐中廣泛存在的理論基礎(chǔ)，表明高斯分布的普遍性。

需要強調(diào)一點，收入分布不符合高斯分布，雖然一個人的收入也受很多因素影響，比如家庭、教育、工作、運氣等，但這些因素不是獨立的，而且正相關(guān)，會彼此加強，如家庭背景好，則有更大機(jī)會獲得好教育，高薪工作，遇到好機(jī)會，反之亦然，所以有錢人會更有錢，窮人會更窮，直到貧富差距極大，社會不穩(wěn)定，要么改革要么革命，社會從新洗牌。收入不滿足中心極限定理中各因素獨立要求，故分布不是高斯分布，而是對數(shù)高斯分布，即 $logx$ 是高斯分布。該分布特點是長尾分布，即收入遠(yuǎn)高于平均收入的人群數(shù)量較大。相比于高斯分布，身高遠(yuǎn)高于平均身高的人群數(shù)量是很少的，因為高斯分布密度函數(shù)是指數(shù)平方下降。

再強調(diào)一點，收入會導(dǎo)致富者越富，窮者越窮；但身高并不會導(dǎo)致子代身高越來越高，或子代身高越來越矮的現(xiàn)象。即有錢人的子孫會越來越有錢，窮人的子孫會越來越有窮；但高個子人的子孫不會越來越高，矮個子人的子孫不會越來越矮。否則經(jīng)過多代，就會出現(xiàn)大量很高的人或很矮的人，但實際中并沒有出現(xiàn)這種現(xiàn)象，而是高個子人的子孫雖然高，但會比父輩矮些；矮個子人的子孫雖然矮，但會比父輩高些，這表現(xiàn)出人的身高會向平均身高靠攏，這種現(xiàn)象被稱為回歸現(xiàn)象。

高斯分布由于具有上述性質(zhì)，使其成為最重要的分布。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的1 高斯分布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。