1 高斯分布

高斯分布也稱為正態分布，大家都很熟悉，但有些性質這里有必要提下。一元高斯分布的密度函數為：

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(?\frac{(x?\mu {)}^2}{2{\sigma }^2})$$

從函數圖像看，高斯密度函數是個鐘形曲線，關于 $\mu$ 對稱，在 $\mu$ 處函數值最大，遠離中心點 $\mu$ ，函數值快速下降，下降速度是指數平方。遠離中心點 $3\sigma$ 距離，函數值幾乎為零，故函數值幾乎位于中心點正負 $3\sigma$ 范圍內。$\mu$ 稱為位置參數，$\sigma$ 稱為尺度參數。

高斯分布的期望為 $\mu$ ，方差為 ${\sigma }^2$ 。期望為 0 ，方差為 1 的高斯分布稱為標準高斯分布，方差為 1 也稱為單位方差。

多元高斯分布，其密度函數為：

$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}(det\Sigma {)}^{1/2}}exp(?\frac{1}{2}(\mathbf{x}?\mu {)}^T{\Sigma }^{?1}(\mathbf{x}?\mu ))$$

期望為均值向量 $\mu$ ，協方差為矩陣 $\Sigma$ 是對稱正定矩陣，$n$ 為向量維度。

高斯分布在理論和實踐中特別重要，因為其具有如下重要性質。

1、高斯分布的線性變換仍然是高斯分布，即 $\mathbf{x}$ 是高斯隨機向量，$\mathbf{y}=A\mathbf{x}$ 是其線性變換，則 $\mathbf{y}$ 也是高斯隨機向量，其均值向量為 $A{\mu }_x$ ，協方差矩陣為 $A{\Sigma }_x{A}^T$ 。

2、高斯分布的邊緣密度和條件密度仍然是高斯分布。

這兩條性質使高斯分布在數學上十分容易處理，使用起來很方便。其他分布如均勻分布一般沒有上面兩種性質，這表明高斯分布的獨特性。

3、獨立性和不相關性等價，即協方差矩陣為對角陣時，高斯隨機向量每個分量是獨立的。反之亦然，高斯隨機向量每個分量是獨立時，協方差矩陣為對角陣。

對于其他分布的隨機變量，雖獨立性能推導出不相關性，但不相關性不等價于獨立性，獨立性是強于相關性的，也就是說，不相關性只考慮了二階矩，但獨立性不僅包含二階矩，還包含各種高階矩。高斯分布僅由一階和二階矩決定，這也是高斯分布獨特性的表現。

如果協方差矩陣 $\Sigma$ 不是對角陣時，可通過線性變換使變換后的向量是獨立的，變換方法就是 PCA 變換。假設高斯隨機向量中心化后 $\mathbf{x}$，均值向量為 $0$ ，因為協方差矩陣 $\Sigma$ 是對稱正定矩陣，根據對稱矩陣譜分解定理有 $\Sigma =UD{U}^T$ ，則隨機向量 $\mathbf{y}=U^T\mathbf{x}$ 的協方差矩陣為對角陣，分量獨立。進一步，隨機向量 $\mathbf{z}=D^{?1/2}\mathbf{y}=D^{?1/2}{U}^T\mathbf{x}$ 的協方差矩陣為單位陣，稱為白化獨立高斯分布。

4、高斯分布具有極大熵。

熵的定義。熵是信息論的基本概念。對于離散隨機變量，熵定義為：

$$H(X)=?\sum _{i}P(X=a_i)logP(X=a_i)$$

式中， $a_i$ 是 $X$ 的可能取值，$P(X=a_i)$ 是其概率。熵的物理含義是，隨機變量越是『隨機』，也就是說，越是難以預測和非結構化，熵就越大。如果對隨機變量進行編碼，則熵大致上反映了平均最小編碼長度，熵越大則編碼長度越大。

對于連續隨機變量 $\mathbf{x}$，其密度函數為 $p(\mathbf{x})$ ，熵定義為：

$$H=?\int p(\mathbf{x})logp(\mathbf{x})d\mathbf{x}$$

同理，如果隨機變量集中在某個小的區間，熵就小。

協方差矩陣為單位陣的所有隨機變量中，高斯變量具有極大熵，這說明高斯分布最隨機，最難以預測和無結構。這是高斯分布物理上的獨特性。

線性變換的熵，令 $\mathbf{y}=A\mathbf{x}$ ，則 $H(\mathbf{y})=H(\mathbf{x})+log|detA|$ 。這表明熵不是尺度不變的。但當變換矩陣是正交矩陣時 $A=Q$ ，由于 $|detQ|=1$ ，有 $H(\mathbf{y})=H(\mathbf{x})$ 成立。

5、中心極限定理

假設從均勻分布中隨機抽取 $n$ 個樣本，則這些樣本顯然是均勻分布。當 $n$ 較大時，這些樣本均值接近分布均值，當 $n$ 無窮大時，這些樣本均值依概率無限接近分布均值。這些都是顯而易見的結論。我們考慮中間狀態，我們每次抽取 $m$ 個樣本并計算其均值，抽取 $n$ 次，每次得到一個均值，現在考慮所得到的 $n$ 個均值滿足什么分布？根據上面結論，當 $m=1$ 時，均值就是單個樣本值，分布顯然還是原來的分布即均勻分布。當 $m$ 趨于無窮大時，均值應該無限接近一個常數–分布均值，則均值分布必然很集中，在分布均值附近概率很高，稍微遠離分布均值，概率快速減小。這個概率密度性質非常類似高斯分布！中心極限定理從理論上給出了確定的答案，設從均值為 $\mu$、方差為 ${\sigma }^2$ （有限）的任意分布中隨機抽取 $m$ 個樣本，當 $m$ 充分大時，這 $m$ 個樣本均值的分布近似服從均值為 $\mu$、方差為 ${\sigma }^2/m$ 的高斯分布。

有兩點需要指出，第一點，實踐中 $m$ 需要充分大，但也不需要太大。一般認為 $m>30$ 即可讓中心極限定理發揮作用。第二點，樣本分布是任意分布，可以是已知也可以是未知的，樣本均值分布都服從高斯分布。

上述定理是中心極限定理最簡單又最常用的一種形式，其實中心極限定理是概率論中的一組定理。上述定理中樣本都來自同一分布，其實在適當的條件下，隨機抽取的 $m$ 個樣本不需要來自同一分布，可以來自不同分布，每個分布可以是任意分布，只要 $m$ 個樣本滿足獨立性要求，即每個樣本之間是互相獨立的，則這些分布不同的 $m$ 個樣本均值的分布還是近似服高斯分布。即對于大量獨立隨機變量來說，不論其中各個隨機變量的概率密度函數是什么，也不論它們是已知還是未知，當獨立隨機變量的個數充分大時，它們的均值分布函數都可以用正態分布來近似。這個廣義中心極限定理是數理統計和誤差分析的理論基礎。在自然界與生產中，一些現象受到許多相互獨立的隨機因素的影響，如果每個因素所產生的影響都很微小時，總的影響可以看作是服從正態分布的。測量誤差就可以看作是受很多獨立微小因素的影響，所以服從正態分布，這是生產中認為誤差服從高斯分布的理論基礎。生物體很多特征也服從高斯分布，比如身高、智力等。中心極限定理是高斯分布在實踐中廣泛存在的理論基礎，表明高斯分布的普遍性。

需要強調一點，收入分布不符合高斯分布，雖然一個人的收入也受很多因素影響，比如家庭、教育、工作、運氣等，但這些因素不是獨立的，而且正相關，會彼此加強，如家庭背景好，則有更大機會獲得好教育，高薪工作，遇到好機會，反之亦然，所以有錢人會更有錢，窮人會更窮，直到貧富差距極大，社會不穩定，要么改革要么革命，社會從新洗牌。收入不滿足中心極限定理中各因素獨立要求，故分布不是高斯分布，而是對數高斯分布，即 $logx$ 是高斯分布。該分布特點是長尾分布，即收入遠高于平均收入的人群數量較大。相比于高斯分布，身高遠高于平均身高的人群數量是很少的，因為高斯分布密度函數是指數平方下降。

再強調一點，收入會導致富者越富，窮者越窮；但身高并不會導致子代身高越來越高，或子代身高越來越矮的現象。即有錢人的子孫會越來越有錢，窮人的子孫會越來越有窮；但高個子人的子孫不會越來越高，矮個子人的子孫不會越來越矮。否則經過多代，就會出現大量很高的人或很矮的人，但實際中并沒有出現這種現象，而是高個子人的子孫雖然高，但會比父輩矮些；矮個子人的子孫雖然矮，但會比父輩高些，這表現出人的身高會向平均身高靠攏，這種現象被稱為回歸現象。

高斯分布由于具有上述性質，使其成為最重要的分布。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的1 高斯分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。