UA STAT687 線性模型II 最小二乘理論2 約束最小二乘估計

• 約束最小二乘估計的求解
• • 數值計算的思路
  • 系數估計量的解析式
• 約束最小二乘估計的統計性質

約束最小二乘估計的求解

在線性模型$y=X\beta +?$中，我們考慮的約束也是線性的。假設系數$\beta$滿足
$$H\beta =d,H\in {\mathbb{R}}^{k\times p},rank(H)=k$$

并且$d$屬于$H$的列空間（或者稱為像空間），$d\in C(H)$，也就是說這個約束方程有界。假設$C(H^{\prime })?C(X^{\prime })$，即$H\beta$是$k$個線性無關的可估函數。

下面我們嘗試用Lagrange乘子法求解帶約束的最小二乘：
$$\begin{gathered} \underset{\beta }{\min }Q={\Vert e\Vert }^2=(y?X\beta {)}^{\prime }(y?X\beta )=y^{\prime }y?2y^{\prime }X\beta +{\beta }^{\prime }{X}^{\prime }X\beta \\ s.t.H\beta =d \end{gathered}$$

用$L$表示Lagrange函數，$2\lambda \in {\mathbb{R}}^k$表示Lagrange乘子，則
$$L(\beta ,\lambda )=y^{\prime }y?2y^{\prime }X\beta +{\beta }^{\prime }{X}^{\prime }X\beta +2{\lambda }^{\prime }(H\beta ?d)$$

這里用$2\lambda$只是為了約掉2這個數值，讓下面的正則方程形式上美觀一點。計算Lagrange函數關于$\beta$的梯度可以得到正則方程：
$$\begin{gathered} {?}_{\beta }L=2X^{\prime }X\beta ?2(X^{\prime }y?H^{\prime }\lambda )=0 \\ ?X^{\prime }X\beta =X^{\prime }y?H^{\prime }\lambda \end{gathered}$$

數值計算的思路

記$\theta =[{\beta }^{\prime },{\lambda }^{\prime }{]}^{\prime }$, 約束方程可以寫成
$$\left[\begin{array}{cc}H& 0\end{array}\right]\theta =d$$

正則方程可以寫成
$$\left[\begin{array}{cc}{X}^{\prime }X& H^{\prime }\end{array}\right]\theta =X^{\prime }y$$

合并起來就是
$$\left[\begin{array}{cc}{X}^{\prime }X& H^{\prime }\\ H& 0\end{array}\right]\theta =\left[\begin{array}{c}{X}^{\prime }y\\ d\end{array}\right]$$

求解$\theta$可以得到$\beta$與$\lambda$的估計值，
$$\hat{\theta }={\left[\begin{array}{cc}{X}^{\prime }X& H^{\prime }\\ H& 0\end{array}\right]}^{?1}\left[\begin{array}{c}{X}^{\prime }y\\ d\end{array}\right]$$

系數估計量的解析式

數值上這樣計算非常方便，但是我們想得到$\beta$估計量的解析式。考慮正則方程，
$$\hat{\beta }=(X^{\prime }X{)}^{?1}(X^{\prime }y?H^{\prime }\hat{\lambda })={\hat{\beta }}_{OLS}?(X^{\prime }X{)}^{?1}{H}^{\prime }\hat{\lambda }$$

將這個結果代入約束方程中，
$$\begin{gathered} H\hat{\beta }=H{\hat{\beta }}_{OLS}?H(X^{\prime }X{)}^{?1}{H}^{\prime }\hat{\lambda }=d \\ ?\hat{\lambda }=[H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}(H{\hat{\beta }}_{OLS}?d) \end{gathered}$$

前面我們假設了$C(H^{\prime })?C(X^{\prime })$，并且$rank(H)=k$，因此$H(X^{\prime }X{)}^{?1}{H}^{\prime }$的逆與廣義逆選取無關，這保證$\hat{\lambda }$形式的唯一性。由此我們得到系數的估計量為
$$\hat{\beta }={\hat{\beta }}_{OLS}?(X^{\prime }X{)}^{?1}{H}^{\prime }[H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}(H{\hat{\beta }}_{OLS}?d)$$

約束最小二乘估計的統計性質

在約束參數空間$\{(\beta ,{\sigma }^2):H\beta =d\}$中，${\hat{\sigma }}^2$是$\sigma$的無偏估計，其中
$${\hat{\sigma }}^2=\frac{{\hat{e}}^{\prime }\hat{e}}{n?rank(X)+rank(H)},\hat{e}=y?X\hat{\beta }$$

與普通最小二乘法不同的是，約束最小二乘法的殘差有更多自由度。普通最小二乘法總自由度為$n?1$，回歸自由度（系數的自由度）為$rank(X)?1$；約束最小二乘法總自由度為$n+rank(H)?1$，回歸自由度與普通最小二乘一樣，所以多出來的自由度屬于殘差。

證明
考慮${\hat{e}}^{\prime }\hat{e}={\Vert y?X\hat{\beta }\Vert }^2={\hat{e}}^{\prime }\hat{e}={\Vert y?X({\hat{\beta }}_{OLS}+\hat{\beta }?{\hat{\beta }}_{OLS})\Vert }^2$，進一步化簡得到
$${\Vert (y?X{\hat{\beta }}_{OLS})+X(\hat{\beta }?{\hat{\beta }}_{OLS})\Vert }^2$$

注意到$y?X{\hat{\beta }}_{OLS}$與$C(X^{\prime })$正交，因此上式等于
$${\Vert y?X{\hat{\beta }}_{OLS}\Vert }^2+{\Vert X(\hat{\beta }?{\hat{\beta }}_{OLS})\Vert }^2$$

上一講證明了
$$E{\Vert y?X{\hat{\beta }}_{OLS}\Vert }^2=(n?rank(X)){\sigma }^2$$

并且證明了一個恒等式：如果$EX=\mu ,Cov(X)=\Sigma$，則
$$E[X^{\prime }AX]={\mu }^{\prime }A\mu +tr(A\Sigma )$$

接下來我們基于這個恒等式計算$E{\Vert X(\hat{\beta }?{\hat{\beta }}_{OLS})\Vert }^2$,
$$\begin{gathered} E{\Vert X(\hat{\beta }?{\hat{\beta }}_{OLS})\Vert }^2 \\ =E(H{\hat{\beta }}_{OLS}?d{)}^{\prime }[H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}(H{\hat{\beta }}_{OLS}?d) \\ =(H\beta ?d{)}^{\prime }[H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}(H\beta ?d) \\ +tr[[H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}Cov(H{\hat{\beta }}_{OLS})] \end{gathered}$$

在參數空間$\{(\beta ,{\sigma }^2):H\beta =d\}$中，第一項$$(H\beta ?d{)}^{\prime }[H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}(H\beta ?d)=0$$

計算第二項，根據上一講的最后一個定理，
$$Cov(H{\hat{\beta }}_{OLS})={\sigma }^2{H}^{\prime }(X^{\prime }X{)}^{?1}H$$

因此
$$\begin{gathered} [H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}Cov(H{\hat{\beta }}_{OLS})={\sigma }^2{I}_k \\ ?tr[[H(X^{\prime }X{)}^{?1}{H}^{\prime }{]}^{?1}Cov(H{\hat{\beta }}_{OLS})]=tr({\sigma }^2{I}_k)=k{\sigma }^2 \end{gathered}$$

這里$k=rank(H)$，所以
$$E{\Vert y?X\hat{\beta }\Vert }^2=(n?rank(X)+rank(H)){\sigma }^2$$

證畢

總結

以上是生活随笔為你收集整理的UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。