UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系
UA MATH566 統計理論 Cramer-Rao不等式與Delta方法的聯系
- Delta方法與C-R不等式基本概念回顧
- Delta方法近似
- C-R不等式近似
- 推導Delta方法與C-R不等式近似相等的條件
在math 564概率論與math 566統計理論中，我們一共掌握了三種對復雜統計量的方差做近似的方法，分別是delta方法、Cramer-Rao不等式以及Bootstrap。Bootstrap與前兩者的聯系到介紹到統計計算的時候討論，這一講先介紹delta方法、Cramer-Rao不等式的聯系。
Delta方法與C-R不等式基本概念回顧
在UA MATH564 概率論V 中心極限定理中我們首次介紹了delta方法，它的核心思想就是把復雜的統計量視為簡單統計量的函數，對這個函數在簡單統計量期望附近做Taylor展開，基于Taylor展開求期望或者方差，就可以用來近似復雜統計量的期望或者方差。在UA MATH566 統計理論2 C-R不等式簡介中我們比較詳細地介紹了一下C-R不等式的基本理論，它對于所有的正則分布族成立，是由Cauchy-Schwarz不等式導出的。既然要比較兩種方法，我們就把討論范圍限定為正則分布族：
概念1 Cramer-Rao分布族（正則分布族）{f(x,θ),θ∈Θ}\{f(x,\theta),\theta \in \Theta\}{f(x,θ),θ∈Θ}
為了讓C-R不等式成立，需要一些條件，滿足這些條件的分布族被稱為C-R分布族：
假設一元正則分布族f(x,θ),θ∈Θf(x,\theta),\theta \in \Thetaf(x,θ),θ∈Θ有一組隨機樣本{Xi}i=1n\{X_i\}_{i=1}^n{Xi?}i=1n?，θ^\hat{\theta}θ^是θ\thetaθ的一個無偏估計量，g(θ^)g(\hat{\theta})g(θ^)是g(θ)g(\theta)g(θ)的一個估計量，下面我們分別用Delta方法與C-R不等式近似g^(θ^)\hat{g}(\hat{\theta})g^?(θ^)的方差。
Delta方法近似
對g(θ^)g(\hat{\theta})g(θ^)在θ\thetaθ附近做Taylor展開，
g(θ^)=g(θ)+g′(θ)(θ^?θ)+o((θ^?θ)2)g(\hat{\theta})= g(\theta) + g'(\theta) (\hat{\theta} - \theta) + o((\hat{\theta} - \theta)^2)g(θ^)=g(θ)+g′(θ)(θ^?θ)+o((θ^?θ)2)
對一階近似求方差，那么
Var(g(θ^))≈[g′(θ)]2Var(θ^)Var(g(\hat{\theta})) \approx [g'(\theta)]^2Var(\hat{\theta})Var(g(θ^))≈[g′(θ)]2Var(θ^)
C-R不等式近似
C-R不等式要求g(θ^)g(\hat{\theta})g(θ^)是g(θ)g(\theta)g(θ)的一個無偏估計量，進而
Var(g(θ^))≥[g′(θ)]2I?1(θ)Var(g(\hat{\theta})) \ge [g'(\theta)]^2I^{-1}(\theta)Var(g(θ^))≥[g′(θ)]2I?1(θ)
這個不等式取等需要?a(θ)\exists a(\theta)?a(θ)，
S(X,θ)=a(θ)g(θ^),a.s.S(X,\theta) = a(\theta)g(\hat{\theta}),a.s.S(X,θ)=a(θ)g(θ^),a.s.
推導Delta方法與C-R不等式近似相等的條件
當可以用C-R下界近似Var(g(θ^))Var(g(\hat{\theta}))Var(g(θ^))時，?a(θ)\exists a(\theta)?a(θ)，
S(X,θ)=a(θ)g(θ^),a.s.S(X,\theta) = a(\theta)g(\hat{\theta}),a.s.S(X,θ)=a(θ)g(θ^),a.s.
此時Var(g(θ^))Var(g(\hat{\theta}))Var(g(θ^))的近似為
Var(g(θ^))=[g′(θ)]2I?1(θ)Var(g(\hat{\theta})) = [g'(\theta)]^2I^{-1}(\theta)Var(g(θ^))=[g′(θ)]2I?1(θ)
Delta方法近似說的是
Var(g(θ^))≈[g′(θ)]2Var(θ^)Var(g(\hat{\theta})) \approx [g'(\theta)]^2Var(\hat{\theta})Var(g(θ^))≈[g′(θ)]2Var(θ^)
根據C-R不等式
[g′(θ)]2Var(θ^)≥[g′(θ)]2I?1(θ)[g'(\theta)]^2Var(\hat{\theta}) \ge [g'(\theta)]^2I^{-1}(\theta)[g′(θ)]2Var(θ^)≥[g′(θ)]2I?1(θ)
取等條件是?a(θ)\exists a(\theta)?a(θ)，
S(X,θ)=c(θ)θ^,a.s.S(X,\theta) = c(\theta)\hat{\theta},a.s.S(X,θ)=c(θ)θ^,a.s.
結合這兩個取等條件，Delta方法與C-R不等式近似相等的條件有兩種：
條件一：?a(θ),c(θ)\exists a(\theta),c(\theta)?a(θ),c(θ)，a(θ)g(θ^)=c(θ)θ^=S(X,θ),a.s.a(\theta)g(\hat{\theta})= c(\theta)\hat{\theta} = S(X,\theta), a.s.a(θ)g(θ^)=c(θ)θ^=S(X,θ),a.s.
條件二：θ^\hat{\theta}θ^是θ\thetaθ的一個UMVUE，并且?a(θ)\exists a(\theta)?a(θ)，
S(X,θ)=a(θ)g(θ^),a.s.S(X,\theta) = a(\theta)g(\hat{\theta}),a.s.S(X,θ)=a(θ)g(θ^),a.s.
因為方差達到C-R下界的無偏估計一定是UMVUE，所以條件1和條件2必定等價。條件二稍微直觀一點，我們先分析條件二，
S(X,θ)=?log?L(θ)?θ=a(θ)g(θ^),a.s.?log?L(θ)=∫?∞θa(ξ)g(θ^)dξ=b(θ)g(θ^)S(X,\theta) = \frac{\partial \log L(\theta)}{\partial \theta}= a(\theta)g(\hat{\theta}),a.s. \\ \Rightarrow \log L(\theta) = \int_{-\infty}^{\theta} a(\xi)g(\hat\theta)d\xi = b(\theta)g(\hat\theta)S(X,θ)=?θ?logL(θ)?=a(θ)g(θ^),a.s.?logL(θ)=∫?∞θ?a(ξ)g(θ^)dξ=b(θ)g(θ^)
其中b(θ)=∫?∞θa(ξ)dξb(\theta) = \int_{-\infty}^{\theta} a(\xi)d\xib(θ)=∫?∞θ?a(ξ)dξ，這個條件的含義是對數似然函數對參數與樣本是可分離的。滿足這個條件的分布比較常見，比如EXP(λ),N(0,σ2)EXP(\lambda),N(0,\sigma^2)EXP(λ),N(0,σ2)等。
總結
以上是生活随笔為你收集整理的UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA MATH566 统计理论7 还有一
- 下一篇： UA MATH566 统计理论 Fish