UA MATH566 统计理论1 充分统计量例题答案3
UA MATH566 統(tǒng)計理論1 充分統(tǒng)計量例題答案3
例1.18 X1,?,Xn～iidN(μ,σ2)X_1,\cdots,X_n \sim_{iid} N(\mu,\sigma^2)X1?,?,Xn?～iid?N(μ,σ2)，驗證T(X)=(Xˉ,SST)T(X)=(\bar{X},SST)T(X)=(Xˉ,SST)是完備統(tǒng)計量。
先寫出樣本的聯(lián)合概率密度，
f(x1,?,xn)=∏i=1n{12πσexp?(?(Xi?μ)22σ2)}=(2π)?n/2σ?nexp?(?12σ2∑i=1n(Xi?μ)2)f(x_1,\cdots,x_n) = \prod_{i=1}^n \{\frac{1}{\sqrt{2\pi \sigma} } \exp \left( - \frac{(X_i-\mu)^2}{2\sigma^2} \right)\} \\ = (2\pi)^{-n/2}\sigma^{-n}\exp\left( -\frac{1}{2\sigma^2}\sum_{i=1}^n (X_i-\mu)^2\right)f(x1?,?,xn?)=i=1∏n?{2πσ?1?exp(?2σ2(Xi??μ)2?)}=(2π)?n/2σ?nexp(?2σ21?i=1∑n?(Xi??μ)2)
我們把指數(shù)中的完全平方拆分一下，
∑i=1n(Xi?μ)2=∑i=1n(Xi?Xˉ+Xˉ?μ)2=∑i=1n(Xi?Xˉ)2+n(Xˉ?μ)2=SST+n(Xˉ?μ)2\sum_{i=1}^n (X_i-\mu)^2 = \sum_{i=1}^n(X_i-\bar{X}+\bar{X}-\mu)^2 \\= \sum_{i=1}^n(X_i-\bar{X})^2 + n(\bar{X}-\mu)^2 = SST +n(\bar{X}-\mu)^2 i=1∑n?(Xi??μ)2=i=1∑n?(Xi??Xˉ+Xˉ?μ)2=i=1∑n?(Xi??Xˉ)2+n(Xˉ?μ)2=SST+n(Xˉ?μ)2
交叉項為0，因為
∑i=1n(Xi?Xˉ)(Xˉ?μ)=(Xˉ?μ)(∑i=1nXi?nXˉ)=0\sum_{i=1}^n(X_i-\bar{X})(\bar{X}-\mu) =(\bar{X}-\mu) (\sum_{i=1}^n X_i-n\bar{X}) =0i=1∑n?(Xi??Xˉ)(Xˉ?μ)=(Xˉ?μ)(i=1∑n?Xi??nXˉ)=0
因此
f(x1,?,xn)=(2π)?n/2σ?nexp?(?12σ2[SST+n(Xˉ?μ)2])f(x_1,\cdots,x_n) = (2\pi)^{-n/2}\sigma^{-n}\exp\left( -\frac{1}{2\sigma^2}[SST +n(\bar{X}-\mu)^2]\right)f(x1?,?,xn?)=(2π)?n/2σ?nexp(?2σ21?[SST+n(Xˉ?μ)2])
它只與(Xˉ,SST)(\bar{X},SST)(Xˉ,SST)以及參數(shù)有關，根據(jù)Fisher-Neyman定理，(Xˉ,SST)(\bar{X},SST)(Xˉ,SST)是充分統(tǒng)計量。接下來驗證它的完備性。因為Xˉ\bar{X}Xˉ與SSTSSTSST互相獨立，所以可以分別考慮這兩者對μ\muμ和σ2\sigma^2σ2的完備性。對于樣本均值，考慮它對N(μ,1)N(\mu,1)N(μ,1)的完備性，假設h1h_1h1?是它的一個可測函數(shù)，則
E[h1(Xˉ)]=∫?∞+∞h(x)12πexp?(?12(x?μ)2)dx=0?∫?∞+∞h(x)exp?(?x2/2)exp?(xμ)=0E[h_1(\bar{X})] = \int_{-\infty}^{+\infty} h(x) \frac{1}{\sqrt{2 \pi}}\exp\left( -\frac{1}{2}(x-\mu)^2 \right)dx=0 \\ \Rightarrow \int_{-\infty}^{+\infty} h(x) \exp(-x^2/2) \exp(x\mu)=0E[h1?(Xˉ)]=∫?∞+∞?h(x)2π?1?exp(?21?(x?μ)2)dx=0?∫?∞+∞?h(x)exp(?x2/2)exp(xμ)=0
這是h(x)exp?(?x2/2)h(x)\exp(-x^2/2)h(x)exp(?x2/2)的Laplace變換，根據(jù)Laplace變換的完備性，
h(x)exp?(?x2/2)=0,h(x)=0,?xh(x)\exp(-x^2/2)=0,h(x)=0,\forall xh(x)exp(?x2/2)=0,h(x)=0,?x
接下來考慮SSTSSTSST對N(0,σ2)N(0,\sigma^2)N(0,σ2)的完備性。SST～χn?1SST\sim \chi_{n-1}SST～χn?1?，類似的SSTSSTSST的可測函數(shù)的期望可以寫成含這個可測函數(shù)的Laplace變換，下面的步驟大家自己嘗試。
例1.19 X1,?,Xn～iidf(x∣θ)=h(x)eQT(θ)T(x)?b(θ)X_1,\cdots,X_n \sim_{iid} f(x|\theta) = h(x)e^{Q^T(\theta)T(x)-b(\theta)}X1?,?,Xn?～iid?f(x∣θ)=h(x)eQT(θ)T(x)?b(θ)，驗證T(X)T(X)T(X)是完備統(tǒng)計量。
思路一樣，需要用到自然形式的指數(shù)族的T(X)T(X)T(X)也服從某一自然形式的指數(shù)分布的結論。所有指數(shù)分布族，證明完備性的思路都是寫成Laplace變換的形式，根據(jù)Laplace變化的唯一性（或者也叫完備性）來說明統(tǒng)計量的完備性。
例1.20 X1,?,Xn～iidf(x∣θ)=θxθ?1I(0,1)(x)X_1,\cdots,X_n \sim_{iid} f(x|\theta) = \theta x^{\theta-1}I_{(0,1)}(x)X1?,?,Xn?～iid?f(x∣θ)=θxθ?1I(0,1)?(x)，找完備充分統(tǒng)計量。
先寫出聯(lián)合概率密度，
f(x1,?,xn∣θ)=θn(∏i=1nxi)θ?1∏i=1nI(0,1)(xi)=θn(∏i=1nxi)θ?1I(0<x(1)<x(n)<1)f(x_1,\cdots,x_n|\theta) = \theta^{n} \left(\prod_{i=1}^n x_i \right)^{\theta-1} \prod_{i=1}^n I_{(0,1)}(x_i) \\= \theta^{n} \left(\prod_{i=1}^n x_i \right)^{\theta-1} I(0<x_{(1)}<x_{(n)}<1)f(x1?,?,xn?∣θ)=θn(i=1∏n?xi?)θ?1i=1∏n?I(0,1)?(xi?)=θn(i=1∏n?xi?)θ?1I(0<x(1)?<x(n)?<1)
根據(jù)Fisher-Neyman定理，T(X)T(X)T(X)是充分統(tǒng)計量
T(X)=∏i=1nXiT(X) = \prod_{i=1}^n X_iT(X)=i=1∏n?Xi?
現(xiàn)在證明它的完備性。先考慮Y=?ln?XY=-\ln XY=?lnX的分布，
P(Y≤y)=P(X>e?y)?FY(y)=1?FX(e?y)?fY(y)=e?yfX(e?y)fY(y)=e?yθe?y(θ?1)=θe?θy,y>0P(Y \le y) = P(X > e^{-y}) \Rightarrow F_Y(y) = 1-F_X(e^{-y}) \Rightarrow f_Y(y) = e^{-y} f_X(e^{-y}) \\ f_Y(y) = e^{-y} \theta e^{-y(\theta-1)} = \theta e^{-\theta y},y>0P(Y≤y)=P(X>e?y)?FY?(y)=1?FX?(e?y)?fY?(y)=e?yfX?(e?y)fY?(y)=e?yθe?y(θ?1)=θe?θy,y>0
這是Γ(1,θ)\Gamma(1,\theta)Γ(1,θ)，具有可加性，因此記
Z=∑i=1nYi=?ln?∏i=1nXi～Γ(n,θ)Z= \sum_{i=1}^n Y_i = -\ln \prod_{i=1}^n X_i \sim\Gamma(n,\theta)Z=i=1∑n?Yi?=?lni=1∏n?Xi?～Γ(n,θ)
從而T(X)=e?ZT(X) = e^{-Z}T(X)=e?Z，ZZZ也是一個充分統(tǒng)計量，記hhh是ZZZ的一個可測函數(shù)，則
E[h(Z)]=∫0+∞h(z)θnzn?1Γ(n)e?θzdz=∫0+∞h(z)zn?1Γ(n)e?θz+(n?1)ln?θd(θz)E[h(Z)] = \int_{0}^{+\infty} h(z)\frac{\theta^n z^{n-1}}{\Gamma(n)} e^{-\theta z}dz \\ = \int_{0}^{+\infty} h(z)\frac{ z^{n-1}}{\Gamma(n)} e^{-\theta z + (n-1) \ln \theta}d(\theta z)E[h(Z)]=∫0+∞?h(z)Γ(n)θnzn?1?e?θzdz=∫0+∞?h(z)Γ(n)zn?1?e?θz+(n?1)lnθd(θz)
這是h(z)zn?1/Γ(n)h(z)z^{n-1}/\Gamma(n)h(z)zn?1/Γ(n)的Laplace變換，其中zn?1/Γ(n)>0z^{n-1}/\Gamma(n)>0zn?1/Γ(n)>0，因此h(z)=0h(z)=0h(z)=0，ZZZ是完備統(tǒng)計量。
最后做個簡單的總結。關于統(tǒng)計量的充分性主要有三個問題：
這個問題原理就是Fisher-Neyman定理，把樣本的聯(lián)合概率密度寫出來就可以直接看出來；
這個問題是算兩組樣本的似然比，似然比與參數(shù)無關當且僅當樣本的統(tǒng)計量相等時，那個充分統(tǒng)計量就是最小的
完備統(tǒng)計量的證明有三種常見的情況。樣本空間有限的離散型隨機變量，把期望表示成多項式，多項式恒為零說明系數(shù)均等于0；樣本空間無限的離散型隨機變量，把期望表示成Z變換或者冪級數(shù)，根據(jù)Z變換或者冪級數(shù)的唯一性說明統(tǒng)計量的完備性；連續(xù)型隨機變量，把期望表示成Laplace變換的形式（指數(shù)分布族是肯定可以的），根據(jù)Laplace變換的唯一性說明統(tǒng)計量的完備性。
總結
以上是生活随笔為你收集整理的UA MATH566 统计理论1 充分统计量例题答案3的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA MATH571A 一元线性回归II
- 下一篇： UA MATH564 概率分布1 二项分