实证会计理论与因果推断13 线性模型概述
實證會計理論與因果推斷13 線性模型概述1
- OLS
- GLS
大部分應用微觀計量模型都在試圖去計算causal effects，對這個causal effects有一個比較經典的定義：Causal effects are the ceteris paribus response to a change in variable or parameter (Marshall [1961] and Heckman [2000])。這個句子的關鍵詞是ceteris paribus。它是一個拉丁語短語，ceteris在應用微觀計量的語境下可以理解成除了我們感興趣的解釋變量以外的其他因素，paribus的意思是相等，因此連起來就是保持除了我們感興趣的解釋變量外的其他因素保持不變。這句話的含義就是causal effects就是在其他因素保持不變的條件下，被解釋變量對解釋變量變化的響應。其中ceteris paribus是保證我們能夠正確估計出causal effects的核心假設。
設計實證研究去估計causal effects有兩種方法，一種是observational study，另一種是experimental study。對于經濟學而言，實驗方法還是一個比較新的領域，主要用來研究個體與小型集體的決策行為。究其原因還是因為經濟系統比物化生系統復雜程度更甚，并且幾乎不可能對其他因素施加控制，也就難以做到ceteris paribus了。所以大部分經濟文獻用的還是observational study的思路。這篇博文會簡單梳理一下最基礎的計量方法，為什么在這些方法的假設成立的前提下可以做到ceteris paribus，以及大致提一下如果這些假設不成立有哪些補救措施，后續的博文就圍繞如何用observational study去計算causal effects展開。
OLS
假設DGP（data generating process）是Y=Xβ+?Y=X\beta+\epsilonY=Xβ+?其中Y∈Rn×1Y \in \mathbb{R}^{n \times 1}Y∈Rn×1，X∈Rn×pX \in \mathbb{R}^{n \times p}X∈Rn×p，β∈Rp×1\beta \in \mathbb{R}^{p \times 1}β∈Rp×1，假設
為了方便做統計推斷，假設
這些假設保證了ceteris paribus，系數β\betaβ就是我們想要計算的causal effects。上面的假設作用不盡相同。無多重共線性主要是出于計算上的考量，因為系數的OLS估計是β^=LY\hat{\beta}=LYβ^?=LY，其中L=(XTX)?1XTL=(X^TX)^{-1}X^TL=(XTX)?1XT是向線性空間span(X)span(X)span(X)上投影的投影矩陣，如果rank(X)<prank(X)<prank(X)<p，XTXX^TXXTX就會是不可逆的奇異陣。存在多重共線性時可以用嶺回歸避免系數被高估。無內生性的假設是為確保ceteris paribus所需要的最重要的一條假設，在DGP中，我們關注的解釋變量只有ppp個，影響被解釋變量的其他變量都在隨機誤差里面，如果E(?∣X)≠0E(\epsilon|X) \ne 0E(?∣X)?=0，說明誤差中還存在能影響被解釋變量的因素，這時可以用GMM。其原因可能是存在重要遺漏變量或者互為因果等。如果同方差假設不成立，OLS的系數可能會被高估，可以用WLS來做；如果誤差項存在自相關，可以用GLS。正態假設可以保證系數估計量的一些優良性質可以成立，并且方便用來做統計推斷。我們通常討論的數據質量好不好其實討論的是能滿足幾條OLS的假設
系數的估計其實還是隨機的，正態性假設下系數的OLS估計量同樣服從正態分布，這意味著causal effects其實是隨機變量。為了獲得對causal effects的最準確的估計，我們希望找到的系數估計量是UMVUE，并且具有一致性和漸進有效性。前者保證causal effects的分布盡可能集中，后者保證大樣本時causal effects不會偏離真實的causal effects并且漸進分布也盡可能比較集中。Gauss-Markov定理保證了OLS估計是BLUE，這里就簡單證明一下OLS估計更是UMVUE。
回顧一下Rao-Blackwell定理：如果一個無偏估計可以寫成充分完備統計量的函數，那么它就是一個UMVUE。因為OLS是BLUE，所以肯定是一個無偏估計了。考慮Y～N(Xβ,σ2In)Y \sim N(X\beta,\sigma^2I_n)Y～N(Xβ,σ2In?)，嘗試找一下XβX\betaXβ的充分完備統計量。
f(Y)=(2π)?n/2σ?nexp?{?12σ2(Y?Xβ)T(Y?Xβ)}=exp?{?YTY2σ2?YTXβσ2?βTXTXβ2σ2?nln?2πσ2}f(Y) = (2\pi)^{-n/2} \sigma^{-n} \exp{\{-\frac{1}{2\sigma^2}(Y-X\beta)^T(Y-X\beta) \}} \\ = \exp{\{-\frac{Y^TY}{2\sigma^2}-\frac{Y^TX\beta}{\sigma^2}-\frac{\beta^TX^TX\beta}{2\sigma^2}-n\ln\sqrt{2\pi \sigma^2}\}} f(Y)=(2π)?n/2σ?nexp{?2σ21?(Y?Xβ)T(Y?Xβ)}=exp{?2σ2YTY??σ2YTXβ??2σ2βTXTXβ??nln2πσ2?}
根據Neyman-Fisher因子分解定理不難看出充分統計量為YTXY^TXYTX與YTYY^TYYTY，其中lll為元素全是1的向量。考慮
E[g(YTX)]=∫g(YTX)(2π)?n/2σ?nexp?{?12σ2(Y?Xβ)T(Y?Xβ)}dY=0E[g(Y^TX)] = \int g(Y^TX) (2\pi)^{-n/2} \sigma^{-n} \exp{\{-\frac{1}{2\sigma^2}(Y-X\beta)^T(Y-X\beta) \}} dY = 0 E[g(YTX)]=∫g(YTX)(2π)?n/2σ?nexp{?2σ21?(Y?Xβ)T(Y?Xβ)}dY=0
因為指數部分肯定是大于0的，而(2π)?n/2σ?n(2\pi)^{-n/2}\sigma^{-n}(2π)?n/2σ?n也是大于0的，所以除非g(YTX)=0.a.s.g(Y^TX)=0.a.s.g(YTX)=0.a.s.否則期望不會為0，因此YTXY^TXYTX是β\betaβ的充分完備統計量。因為
Y=Xβ^+eY = X\hat{\beta} + e Y=Xβ^?+e
其中eee是殘差。因此YTX=(Xβ^)TX+eTX=XTXβ^Y^T X = (X\hat{\beta})^TX + e^TX=X^TX\hat{\beta}YTX=(Xβ^?)TX+eTX=XTXβ^?，顯然OLS估計β^\hat{\beta}β^?可以寫成XTXβ^X^TX\hat{\beta}XTXβ^?的函數。根據Rao-Blackwell定理，OLS估計是UMVUE。
接下來簡單證一下OLS估計的一致性。定義
SXX=XTXn=1n∑i=1nxixiT∈Rp×pSXY=XTYn=1n∑i=1nxiyi∈Rp×1g=XT?n=1n∑i=1nxi?i∈Rp×1S_{XX} = \frac{X^TX}{n} = \frac{1}{n} \sum_{i=1}^n x_ix_i^T \in \mathbb{R}^{p \times p} \\ S_{XY} = \frac{X^TY}{n} = \frac{1}{n}\sum_{i=1}^n x_iy_i \in \mathbb{R}^{p \times 1} \\ g=\frac{X^T\epsilon}{n} = \frac{1}{n}\sum_{i=1}^n x_i\epsilon_i \in \mathbb{R}^{p \times 1} SXX?=nXTX?=n1?i=1∑n?xi?xiT?∈Rp×pSXY?=nXTY?=n1?i=1∑n?xi?yi?∈Rp×1g=nXT??=n1?i=1∑n?xi??i?∈Rp×1
從而
β^=(XTX)?1XTY=(XTXn)?1(XTYn)=SXX?1SXYβ^?β=(XTX)?1XT?=(XTXn)?1(XT?n)=SXX?1g\hat{\beta} = (X^TX)^{-1}X^TY = (\frac{X^TX}{n})^{-1}(\frac{X^TY}{n}) = S_{XX}^{-1}S_{XY} \\ \hat{\beta} - \beta = (X^TX)^{-1}X^T\epsilon = (\frac{X^TX}{n})^{-1}(\frac{X^T\epsilon}{n}) = S_{XX}^{-1}g β^?=(XTX)?1XTY=(nXTX?)?1(nXTY?)=SXX?1?SXY?β^??β=(XTX)?1XT?=(nXTX?)?1(nXT??)=SXX?1?g
假設二意味著E[xi?i]=0E[x_i\epsilon_i]=0E[xi??i?]=0，從而ggg依概率趨近于0，假設一保證SXX?1S_{XX}^{-1}SXX?1?有界，因此β^\hat{\beta}β^?依概率趨近于β\betaβ，或者說，OLS估計具有一致性。要比較OLS估計的漸進有效性需要計算其漸進方差、另外大樣本情況下的檢驗需要方差的估計也具有一致性，關于這些推導可以參考陳強的教材第五章的內容。
GLS
現在放松第三條假設，如果同方差假設與自相關不成立，將假設修正為
3’. Var(?)=ΣVar(\epsilon)=\SigmaVar(?)=Σ
此時的估計叫廣義最小二乘估計（GLS），GLS估計也是BLUE
β^GLS=(XTΣ?1X)?1XTΣ?1Y\hat{\beta}^{GLS} = (X^T\Sigma^{-1}X)^{-1}X^T \Sigma^{-1}Y β^?GLS=(XTΣ?1X)?1XTΣ?1Y
推導GLS估計可以不用最小二乘的思想，可以用Aitken方法將其化歸為OLS，這里給一個簡單的思路。對Σ\SigmaΣ做Cholesky分解，Σ=ΓΓT\Sigma = \Gamma\Gamma^TΣ=ΓΓT，并對DGP做變換
Γ?1Y=Γ?1(Xβ+?)=Γ?1Xβ+Γ?1?\Gamma^{-1} Y = \Gamma^{-1}(X\beta + \epsilon) = \Gamma^{-1}X\beta + \Gamma^{-1}\epsilon Γ?1Y=Γ?1(Xβ+?)=Γ?1Xβ+Γ?1?
其中Γ?1?\Gamma^{-1}\epsilonΓ?1?的協方差矩陣為InI_nIn?滿足OLS的假設，因此β\betaβ的OLS估計為
β^=(XT(Γ?1)TΓ?1X)?1XT(Γ?1)TΓ?1Y\hat{\beta} = (X^T (\Gamma^{-1})^T\Gamma^{-1}X)^{-1} X^T (\Gamma^{-1})^T \Gamma^{-1} Y β^?=(XT(Γ?1)TΓ?1X)?1XT(Γ?1)TΓ?1Y
因為(Γ?1)TΓ?1X)?1=Σ?1(\Gamma^{-1})^T\Gamma^{-1}X)^{-1}=\Sigma^{-1}(Γ?1)TΓ?1X)?1=Σ?1，所以這個估計就是GLS。根據OLS的性質，GLS是無偏的。GLS估計的方差一般用Eicker-Huber-White漸進異方差一致估計量（heteroskedasticity consistent estimator）：
n(XTX)?1S0(XTX)?1n(X^TX)^{-1}S_0 (X^TX)^{-1} n(XTX)?1S0?(XTX)?1
其中S0=∑i=1nxixiTei2/nS_0 = \sum_{i=1}^n x_ix_i^T e_i^2/nS0?=∑i=1n?xi?xiT?ei2?/n，eie_iei?是殘差。
總結
以上是生活随笔為你收集整理的实证会计理论与因果推断13 线性模型概述的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA MATH574M 统计学习II 二
- 下一篇： UA MATH566 统计理论1 充分统