UA MATH566 統計理論 用點估計構造置信區間

• 用點估計構造置信區間

置信區間（confidential interval，CI）也叫區間估計，是另一種做統計推斷的方法，和假設檢驗密切相關。統計量的質量一般用它的bias和variance來衡量，點估計的話不太能直觀地表示這兩個概念，所以又定義了區間估計$\hat{C}(X)?\Theta$，定義
$$P\{\theta \in \hat{C}(X)\}$$

為covering probability。定義$\hat{C}$是$\gamma$-level 置信區間，如果covering probability為$\gamma$。記$\hat{C}(X)=[{\hat{\theta }}_L(X),{\hat{\theta }}_U(X)]$，頻率派統計認為真實的參數$\theta$是一個只有造物主才知道的常數，區間估計中區間的端點是基于隨機樣本的統計量，因此這個區間是隨機的，我們可以用頻率的觀點來解釋covering probability，假設我們獨立重復抽取了一百組樣本，可以計算出一百個置信區間，那么這一百個里面大概就會有$100\gamma$個包含真實的參數$\theta$。

用點估計構造置信區間

假設$g$在參數空間上是一個單調變換，存在統計量$h(X)$是$g(\theta )$的無偏估計，$E[h(X)]=g(\theta )$，根據定義，$\theta$的$\gamma$置信區間為
$$P({\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U)=\gamma$$

如果$g(\theta )$是單增的變換，則
$$P(g({\hat{\theta }}_L)\le g(\theta )\le g({\hat{\theta }}_U))=\gamma$$

如果$g(\theta )$是單減的變換，則
$$P(g({\hat{\theta }}_U)\le g(\theta )\le g({\hat{\theta }}_L))=\gamma$$

因為我們構造的統計量是$g(\theta )$的無偏估計，可以根據$h(X)$構造出$h(X)+/?m(X)$使得
$$P(h(X)?m(X)\le g(\theta )\le h(X)+m(X))=\gamma$$

這里的構造方法通常是樞軸量法，可以參考UA MATH566 統計理論8 用Pivot構造置信區間。如果$g(\theta )$是單增的變換，則令
$$\begin{gathered} g({\hat{\theta }}_L)=h(X)?m(X)?{\hat{\theta }}_L=g^{?1}(h(X)?m(X)) \\ g({\hat{\theta }}_U)=h(X)+m(X)?{\hat{\theta }}_U=g^{?1}(h(X)+m(X)) \end{gathered}$$

如果$g(\theta )$是單減的變換，則令
$$\begin{gathered} g({\hat{\theta }}_L)=h(X)+m(X)?{\hat{\theta }}_L=g^{?1}(h(X)+m(X)) \\ g({\hat{\theta }}_U)=h(X)?m(X)?{\hat{\theta }}_U=g^{?1}(h(X)?m(X)) \end{gathered}$$

下面舉例說明這套流程怎么操作：

例1 $\{X_i{\}}_{i=1}^n{～}_{iid}EXP(\lambda )$，求$\lambda$的$1?\alpha$置信區間
先寫出樣本的聯合概率密度
$$f(x_1,?,x_n|\lambda )=\frac{1}{{\lambda }^n}{e}^{?1/\lambda {\sum }_{i=1}^n{X}_i}$$

根據Neyman-Fisher定理，${\sum }_{i=1}^n{X}_i$是充分統計量。樣本的對數似然為
$$\begin{gathered} l(\lambda )=?n\log \lambda ?\frac{1}{\lambda }\sum _{i=1}^n{X}_i=0 \\ {l}^{\prime }(\lambda )=?\frac{n}{\lambda }+\frac{1}{{\lambda }^2}\sum _{i=1}^n{X}_i=0?\hat{\lambda }=\bar{X} \end{gathered}$$

$E[\bar{X}]=E[X_1]=\frac{1}{\lambda }$，說明$\bar{X}$是$1/\lambda$的無偏估計。這時對應的是單調遞減的情況，這里的$h(X)$就是$\bar{X}$，我們嘗試用$\bar{X}$構造一個$1/\lambda$的置信區間。根據gamma分布的可加性，${\sum }_{i=1}^n{X}_i～\Gamma (n,\lambda )$，做一個尺度變換后，$\bar{X}～\Gamma (n,\lambda /n)$，構造樞軸量
$$Q=\frac{n\bar{X}}{2\lambda }～{\chi }_{2n}^2$$

記${\chi }_{2n,\frac{\alpha }{2}}^2$和${\chi }_{2n,1?\frac{\alpha }{2}}^2$分別為${\chi }_{2n}^2$的$\alpha /2,1?\alpha /2$分位點，則
$$P({\chi }_{2n,\frac{\alpha }{2}}^2\le Q\le {\chi }_{2n,1?\frac{\alpha }{2}}^2)=1?\alpha$$

由此可以解出
$$P(\frac{n\bar{X}}{2{\chi }_{2n,1?\frac{\alpha }{2}}^2}\le \lambda \le \frac{n\bar{X}}{2{\chi }_{2n,\frac{\alpha }{2}}^2})=1?\alpha$$

因此$\lambda$的$1?\alpha$置信區間為
$$\{\lambda :\frac{n\bar{X}}{2{\chi }_{2n,1?\frac{\alpha }{2}}^2}\le \lambda \le \frac{n\bar{X}}{2{\chi }_{2n,\frac{\alpha }{2}}^2}\}$$

例2 $\{X_i{\}}_{i=1}^n{～}_{iid}U(0,\theta )$，求$\theta$的$1?\alpha$置信區間
寫出樣本的聯合似然函數
$$L(\theta )=\prod _{i=1}^n\frac{I(X_i\le \theta )}{\theta }=\frac{I(X_{(n)}\le \theta )}{{\theta }^n}$$

根據Neyman-Fisher定理，$X_{(n)}$是充分統計量。如果根據$X_{(n)}$構造置信區間的話，先分析一下它的分布，
$$P(X_{(n)}\le y)=P(\max X_i\le y)=\prod _{i=1}^{n}P(X_i\le y)=\frac{y^n}{{\theta }^n}$$

構造樞軸量
$$Q=\frac{X_{(n)}}{\theta }$$

則$P(Q\le y)=P(X_{(n)}\le \theta y)=y^n,y\in [0,1]$，$Q$的$\alpha /2$與$1?\frac{\alpha }{2}$為${\left(\frac{\alpha }{2}\right)}^{1/n}$和${\left(1?\frac{\alpha }{2}\right)}^{1/n}$，即
$$P({\left(\frac{\alpha }{2}\right)}^{1/n}\le Q\le {\left(1?\frac{\alpha }{2}\right)}^{1/n})=1?\alpha$$

所以
$$P(\frac{X_{(n)}}{{\left(1?\frac{\alpha }{2}\right)}^{1/n}}\le \theta \le \frac{X_{(n)}}{{\left(\frac{\alpha }{2}\right)}^{1/n}})=1?\alpha$$

也可以用矩估計來構造置信區間，
$$\hat{\theta }=\frac{2}{n}\sum _{i=1}^n{X}_i$$

這時構造的樞軸量是
$$Q=\frac{n\hat{\theta }}{2\theta }$$

它服從參數為$n$的Ising-Hall分布。

總結

以上是生活随笔為你收集整理的UA MATH566 统计理论 用点估计构造置信区间的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。