UA MATH564 概率論IV 次序統計量

• 次序統計量的分布
• 例子
• • 例1：均勻分布的次序統計量
  • 例2：Dirichlet分布

次序統計量的分布

次序統計量的作用是比較大的，經常可以作為某些分布的充分統計量，統計量的含義以及次序統計量的重要性可以參考統計理論那個系列。假設樣本為$\{X_1,X_2,?,X_n\}$，總體分布為$F(X)$，概率密度為$f(x)$。將這組樣本按從小到大的順序排列，并記為$\{X_{(1)},X_{(2)},?,X_{(n)}\}$，則這種統計量叫做樣本的次序統計量。

定理1（單個次序統計量的分布）
$$F_{X_{(j)}}=\sum _{k=j}^n{C}_n^k[F(x){]}^k[1?F(x){]}^{n?k}$$
證明
先描述一個比較直觀的推導：要計算$X_{(j)}$的分布就是要想辦法估計$P(X_{(j)}\le x)$，顯然$X_{(1)}$到$X_{(j?1)}$也要小于$x$。這意味著在原來的$n$個樣本$\{X_1,X_2,?,X_n\}$中，至少有$j$個比$x$小。簡單隨機樣本獨立同分布，因此比$x$小的樣本數目服從二項分布$binom(n,F(x))$。如果有$k\ge j$個比$x$小，那么概率就是$C_n^k[F(x){]}^k[1?F(x){]}^{n?k}$，對所有可能的$k$求和就可以得到$P(X_{(j)}\le x)$。
下面給出正式證明：
定義$Y_j=I_{(?\infty ,x]}(X_j)$，記
$$p=P(Y_j=1)=P(X_j\le x)=F(x)$$
從而$Y_j～Ber(F(x))$。定義$S_n={\sum }_{j=1}^n{Y}_j$，根據Bernoulli分布的可加性，$S_n～Binom(n,F(x))$。從而
$$\begin{gathered} F_{X_{(j)}}=P(X_{(j)}\le x)=P(S_n\ge j) \\ =\sum _{k=j}^n{C}_n^k[F(x){]}^k[1?F(x){]}^{n?k} \end{gathered}$$

定理2（單個次序統計量的概率密度）
$$f_{X_{(j)}}(x)=j{C}_n^j[F(x){]}^{j?1}[1?F(x){]}^{n?j}f(x)$$
證明
這個其實可以直接硬算，但這里給一個比較直觀的推導：考慮
$$f_{X_{(j)}}(x)\Delta x=P(x\le X_{(j)}<x+\Delta x)$$
這個概率可以分成三部分來求：

有一個樣本在$[x,x+\Delta x)$中；

有$j?1$個樣本在$(\infty ,x)$中；

有$n?j$個樣本在$[x+\Delta x,+\infty )$中；

第一條對應的概率為$C_n^{1}f(x)\Delta x$；第二條對應的概率為$C_{n?1}^{j?1}[F(x){]}^{j?1}$；第三條對應的概率為$[1?F(x){]}^{n?j}$。因此
$$\begin{gathered} f_{X_{(j)}}(x)\Delta x=[C_n^{1}f(x)\Delta x][C_{n?1}^{j?1}[F(x){]}^{j?1}][[1?F(x){]}^{n?j}] \\ =j{C}_n^j[F(x){]}^{j?1}[1?F(x){]}^{n?j}f(x)\Delta x \end{gathered}$$
這里只用了一個$n{C}_{n?1}^{j?1}=j{C}_n^j$的關系。

定理3（兩個次序統計量的聯合概率密度）不妨假設$j>i$，則
$$f_{X_{(i)},X_{(j)}}(x_i,x_j)=(n{)}_{2}f(x_i)f(x_j)C_{n?2}^{i?1}{C}_{n?i?3}^{j?i?1}[F(x_i){]}^{i?1}[F(x_j)?F(x_i){]}^{j?i?1}[1?F(x_j){]}^{n?j}$$
證明
用上面那個定理那種比較直觀的推導辦法。
$$f_{X_{(i)},X_{(j)}}(x_i,x_j)(\Delta x{)}^2=P(x_i\le X_{(i)}<x_i+\Delta x,x_j\le X_{(j)}<x_j+\Delta x)$$
將這個概率分成四部分計算：

有兩個樣本，一個在$[x_i,x_i+\Delta x)$中，另一個在$[x_j,x_j+\Delta x)$中；

有$i?1$個樣本在$(\infty ,x_i)$中；

有$j?i?1$個樣本在$[x_i+\Delta x,x_j]$中；

有$n?j$個樣本在$[x_j+\Delta x,+\infty )$中；

第一條對應的概率是$(n{)}_{2}f(x_i)\Delta xf(x_j)\Delta x$；第二條對應的概率是$C_{n?2}^{i?1}[F(x_i){]}^{i?1}$；第三條對應的概率是$C_{n?i?3}^{j?i?1}[F(x_j)?F(x_i){]}^{j?i?1}$；第四條對應的概率是$[1?F(x_j){]}^{n?j}$。因此
$$f_{X_{(i)},X_{(j)}}(x_i,x_j)(\Delta x{)}^2=[(n{)}_{2}f(x_i)\Delta xf(x_j)\Delta x][C_{n?2}^{i?1}[F(x_i){]}^{i?1}][C_{n?i?3}^{j?i?1}[F(x_j)?F(x_i){]}^{j?i?1}][[1?F(x_j){]}^{n?j}]$$

例子

例1：均勻分布的次序統計量

假設$\{U_1,?,U_n\}$是一組$[0,1]$上的均勻分布的簡單隨機樣本，則
$$F(x)=x,f(x)=1$$
根據定理2：
$$\begin{gathered} f_{U_{(j)}}(x)=j{C}_n^j[F(x){]}^{j?1}[1?F(x){]}^{n?j}f(x) \\ =\frac{n!}{(j?1)!(n?j)!}{x}^{j?1}(1?x{)}^{n?j} \\ =\frac{\Gamma (n+1)}{\Gamma (j)\Gamma (n?j+1)}{x}^{j?1}(1?x{)}^{n?j} \end{gathered}$$
因此$U_{(j)}～Beta(j,n?j+1)$。即均勻分布$U[0,1]$的次序統計量會服從beta分布。根據定理3：
$$\begin{gathered} f_{U_{(i)},U_{(j)}}(x_i,x_j)=(n{)}_2{C}_{n?2}^{i?1}{C}_{n?i?3}^{j?i?1}[F(x_i){]}^{i?1}[F(x_j)?F(x_i){]}^{j?i?1}[1?F(x_j){]}^{n?j} \\ =\frac{n!}{(i?1)!(j?i?1)!(n?j)!}{x}_i^{i?1}(x_j?x_i{)}^{j?i?1}(1?x_j{)}^{n?j} \\ =\frac{\Gamma (n+1)}{\Gamma (i)\Gamma (j?i)\Gamma (n?j+1)}{x}_i^{i?1}(x_j?x_i{)}^{j?i?1}(1?x_i?(x_j?x_i){)}^{n?j} \end{gathered}$$
記$u_i=x_i,u_j=x_j?x_i$，
$$f_{U_{(i)},U_{(j)}}(u_i,u_j)=\frac{\Gamma (n+1)}{\Gamma (i)\Gamma (j?i)\Gamma (n?j+1)}{u}_i^{i?1}{u}_j^{j?i?1}(1?u_i?u_j{)}^{n?j}$$
這個是二元的beta分布，可以記為$beta(i,j?i,n?j+1)$。

例2：Dirichlet分布

在上面的例子中，提到一個多元beta分布的東西，但它一般被稱為Dirichlet分布，其一般形式為
$$f(x|\alpha )=\frac{\Gamma ({\sum }_{i=1}^n{\alpha }_i)}{{\prod }_{i=1}^n\Gamma ({\alpha }_i)}\prod _{i=1}^n{x}_i^{{\alpha }_i?1}$$
這個分布定義在$n?1$維（因為是$n?1$維的線性流形）的單純形${\Delta }^{n?1}=\{x:{\sum }_{i=1}^n{x}_i=1,x_i\ge 0\}$上，分布可以記為$Dir({\alpha }_1,?,{\alpha }_n)$。關于Dirichlet分布有幾個有趣的性質：

${\alpha }_i=1,?i$，Dirichlet分布退化為單純形${\Delta }^n$上的均勻分布；

$(X_1,?,X_i+X_{i+1},?,X_n)～Dir({\alpha }_1,?,{\alpha }_i+{\alpha }_{i+1},?,{\alpha }_n)$

$X_i～beta({\alpha }_i,{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i)$

$\{U_1,?,U_n\}$的$m$個次序統計量（序號為$i_1,?,i_m$）的聯合分布為$Dir(i_1,i_2?i_2,?,n?i_m+1)$

總結

以上是生活随笔為你收集整理的UA MATH564 概率论IV 次序统计量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。