當前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

深度学习(2)--常见概率分布(2)

發布時間：2024/8/23 pytorch 28 豆豆

生活随笔收集整理的這篇文章主要介紹了深度学习(2)--常见概率分布(2) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

上一部分介紹了伯努利分布、二項式分布、多項式分布以及范疇分布，這里將繼續介紹高斯分布、指數分布、Laplace分布、Dirac分布、經驗分布及混合分布。

高斯分布

高斯分布又稱為正態分布，其圖形為鐘形曲線(bell-shaped curve)，特點是中間高、兩頭低。利用數學期望 $μ\mu$ 表示鐘形曲線的中心位置，標準差 $σ\sigma$ 表示曲線的離散程度。

隨機變量 $x$ 服從數學期望 $μ\mu$ 、標準差 $σ2\sigma^2$ 的正態分布，記為 $\thicksim N(\mu, \sigma^2)$ ，其概率密度函數為：
$\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x - \mu)^2}{2\sigma^2}}$ .
該密度函數具有如下性質：

當 $x > 0$ 時， $f (x) > 0$ ；
令 $\frac{x - \mu}{\sigma}$ , 則 $∫?∞∞f(x)dx=∫?∞∞12πσe?(x?μ)22σ2dx=∫?∞∞12πe?y22dy=1\int_{-\infty}^{\infty} f(x)dx = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x - \mu)^2}{2\sigma^2}}dx = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{y^2}{2}} dy= 1$ .

指數分布

連續隨機變量 $x$ 服從參數為 $λ\lambda$ 的指數分布( $λ>0\lambda > 0$ ，常數)，記為 $\thicksim E(\lambda)$ ，其概率密度函數為：
$\left\{\begin{array}{ll}\lambda e^{-\lambda x}, &x > 0\\0, &x \le 0 \end{array}\right. \tag{1}$
該密度函數具有如下性質：

當 $x > 0$ 時， $f (x) > 0$ ；
$∫?∞∞f(x)dx=∫0∞f(x)dx=∫0∞λe?λxdx=?∫0∞e?λxd(?λx)=1\int_{-\infty}^{\infty} f(x)dx = \int_{0}^{\infty} f(x)dx = \int_{0}^{\infty}\lambda e^{-\lambda x}dx = -\int_{0}^{\infty} e^{-\lambda x}d(-\lambda x) = 1$ .

下圖為不同 $λ\lambda$ 對應的概率密度函數圖形：

指數分布在銀行窗口服務、交通管理、火車票售票系統、消費市場研究等中被廣泛運用。
【例題-1】假設一個煤礦礦難服從指數分布，其概率密度函數為：
$\frac{1}{142} e^{-\frac{t}{142}}, t > 0$
求分布函數。
【解答】
$\int_{0}^{t} \frac{1}{142} e^{-\frac{x}{142}} dt = 1- e^{-\frac{t}{142}}$ .
有了指數分布函數，我們很容易得出某個時間區間內礦難發生的概率有多大，比如50~100天中發生礦難的概率是：
$e^{-\frac{100}{142}}) - (1- e^{-\frac{50}{142}}) = 0.399$ .

拉普拉斯(Laplace)分布

設隨機變量 $x$ 服從參數為 $λ\lambda$ 和 $μ\mu$ 的拉普拉斯分布( $λ\lambda$ 和 $μ\mu$ 是常數，且 $λ>0\lambda > 0$ )，其概率密度函數為：
$\frac{1}{2\lambda} e^{-\frac{|x - \mu|}{\lambda}}$ .
該密度函數具有如下性質：

$\ge 0$ ；
令 $\frac{x - \mu}{\lambda}$ ， $∫?∞∞f(x)dx=∫?∞∞12λe?∣x?μ∣λdx=∫?∞∞=12∫?∞∞e?∣y∣dy=∫0∞e?ydy=1\int_{-\infty}^{\infty} f(x) dx = \int_{-\infty}^{\infty} \frac{1}{2\lambda} e^{-\frac{|x - \mu|}{\lambda}} dx = \int_{-\infty}^{\infty} = \frac{1}{2} \int_{-\infty}^{\infty} e^{-|y|} dy = \int_{0}^{\infty} e^{-y} dy = 1$ .

下圖為 $μ=0\mu = 0$ ，不同 $λ\lambda$ 對應的概率密度函數圖形：

狄拉克(Dirac)分布

物理學經常需要研究一個物理量在空間或時間中分布的密度，例如質量密度、電荷密度、每單位時間傳遞的動量（即力）等，但是物理學中又常用到質點、點電荷、瞬時力等抽象模型，他們不是連續分布在空間或時間中，而是集中在空間中的某一點或者時間中的某一瞬時，那么它們的密度應該如何表示呢？
為了在數學上理想地表示出這種密度分布，引入了 $δ\delta$ 函數的概念，該函數在除了零以外的點取值都等于零，而其在整個定義域上的積分等于1。數學描述如下：
${δ(x)=0,x≠0∫?∞∞δ(x)=1(2)\left\{\begin{array}{ll}\delta(x) = 0, & x \ne 0 \\ \int_{-\infty}^{\infty} \delta(x) = 1 \end{array}\right. \tag{2}$
嚴格來說 $δ\delta$ 函數不能算是一個函數，因為滿足以上條件的函數是不存在的。數學上，人們為這類函數引入了廣義函數的概念，在廣義函數的理論中， $δ\delta$ 函數的確切意義應該是在積分意義下來理解。在實際應用中， $δ\delta$ 函數總是伴隨著積分一起出現。 $δ\delta$ 分布在偏微分方程、數學物理方法、傅立葉分析和概率論里都有很重要的應用。
一些函數可以認為是 $δ\delta$ 函數的近似，但是要注意，這些函數都是通過極限構造的，因此嚴格上都不是 $δ\delta$ 函數本身，不過在一些數學計算中可以作為 $δ\delta$ 函數進行計算。
$δ(x)=lim?a→0+1aπe?x2a2\delta(x) = \lim_{a \rightarrow 0^+}\frac{1}{a\sqrt{\pi}}e^{-\frac{x^2}{a^2}}$
$δ(x)=lim?a→0+1πaa2+x2\delta(x) = \lim_{a \rightarrow 0^+}\frac{1}{\pi}\frac{a}{a^2 + x^2}$
$δ(x)=lim?k→∞1πsin?(kx)x\delta(x) = \lim_{k \rightarrow \infty}\frac{1}{\pi}\frac{\sin(kx)}{x}$
$δ(x)=lim?k→∞12πsin?2(kx)/2k(x/2)2\delta(x) = \lim_{k \rightarrow \infty}\frac{1}{2\pi}\frac{\sin^2(kx)/2}{k(x/2)^2}$

經驗分布

問題引入：假設 ${x1,x2,…,xn}\{\mathbf{x}_1, \mathbf{x}_2, \dots, \mathbf{x}_n\}$ 是總體 $X\mathbf{X}$ 的樣本， $X$ 的分布函數 $F$ 未知。如何利用 ${x1,x2,…,xn}\{\mathbf{x}_1, \mathbf{x}_2, \dots, \mathbf{x}_n\}$ 的信息，來推導出 $F (x)$ 的形式？
方法：用經驗分布函數去描述總體的分布（推斷），用直方圖去描述 $X$ 的密度函數（近似）。當我們的觀測值足夠多，經驗分布函數不斷接近總體的分布函數。
【例題-1】對于 $X\mathbf{X}$ ，抽取一組大小為10的樣本，得到的觀察值為： ${1.9, 2.5, 0.1, 0.5, 4, 5.9, 4.5, 7.9, 7.5, 9.9\}$
【分析】
第一步：對樣本觀察值進行排序并且求得極差
排序： $[0.1 ， 0.5 ， 1.9 ， 2.5 ， 4 ， 4.5 ， 5.9 ， 7.5 ， 7.9 ， 9.9]$
極差： $9.9 ? 0.1 = 9.8$ ##最大觀察值-最小觀察值
第二步：確定組距和組數。
區間： $[b : a] = [0 : 10]$ ##區間要包含所有的觀察值，左右邊界值略寬于觀測值的邊界
組數：這個區間分成多少個組，利用如下經驗公式計算得到
$\approx 1.87 * (b-1)^{0.4} = 1.87 * (10 - 1)^{0.4} = 4.5$
組距：將區間[0:10]分成m個小區間，每個小區間的距離叫做組距
$b?am=10?04.5≈2.2\frac{b - a}{m} = \frac{10 - 0}{4.5} \approx 2.2$
為了方便，小區間被分成了： $[0, 2), [2, 4), [4, 6), [6, 8), [8, 10]$
第三步：計算落入各個區間的樣本個數（頻數），并作 $X$ 的經驗分布函數
$[0, 2)$ —3個
$[2, 4)$ —1個
$[4, 6)$ —3個
$[6, 8)$ —2個
$[8, 10]$ —1個
經驗分布函數為：
$\left\{\begin{array}{lll}0, & x \le 0 \\ \frac{3}{10}, & 0 \le x \lt 2 \\ \frac{4}{10}, & 2 \le x \lt 4 \\ \frac{7}{10}, & 4 \le x \lt 6 \\ \frac{9}{10}, & 6 \le x \lt 8 \\ 1, & x \ge 8 \end{array}\right. \tag{3}$
第四步：做直方圖，獲得近似的密度函數

混合分布

一個非常強大且常見的混合模型是高斯混合模型(Gaussian Mixture Model)。隨機變量 $X$ 服從混合高斯分布，則其密度函數為：
$p(x∣θ)=∑i=1mεipi(x∣μi,σi2),(4)p(x|\theta) = \sum_{i = 1}^m \varepsilon_i p_i(x | \mu_i, \sigma_i^2), \tag{4}$
其中， $θ=(ε1,…,εm;μ1,…,μm;σ12,…,σm2)\theta = (\varepsilon_1, \dots, \varepsilon_m; \mu_1, \dots, \mu_m; \sigma_1^2, \dots, \sigma_m^2)$ , $ε1+ε2+?+εm=1\varepsilon_1 + \varepsilon_2 + \dots + \varepsilon_m = 1$ , $εi≥0\varepsilon_i \ge 0$ , $\dots, m)$ 。 $p_i$ , $μi\mu_i$ , $σi2\sigma_i^2$ 分別表示第 $i$ 個分布的密度函數、均值和方差，且 $p_i$ 相互獨立。
在實際應用中，一個復雜的分布通常用兩個或三個正態分布分量經混合便可得到較好的逼近。

總結

以上是生活随笔為你收集整理的深度学习(2)--常见概率分布(2)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：推荐系统--安全联邦矩阵分解(7)
下一篇：（pytorch-深度学习）实现残差网络