導航

上一章：一元線性回歸模型
下一章：放寬基本假定的模型

---

文章目錄

• • • 導航
    • 3.1多元線性回歸模型
    • • 一、多元線性回歸模型
      • 二、多元線性回歸的基本假設
    • 3.2多元線性回歸模型的參數估計
    • • 四、參數統計量的統計性質
      • 五、樣本容量問題
    • 3.3多元線性回歸模型的統計檢驗
    • • 一、擬合優度檢驗
      • 二、方程總體線性的顯著性檢驗(F檢驗)
      • 三、變量的顯著性檢驗(t檢驗)
      • 四、參數的置信區間
    • 3.4多元線性回歸模型的預測
    • 3.5可化為線性的多元非線性回歸模型
    • • 一、模型的類型與變換
      • 三、非線性普通最小二乘法
    • 3.6受約束回歸
    • • 一、模型參數的線性約束
      • 二、對回歸模型增加或減少解釋變量
      • 三、參數的穩定性

---

3.1多元線性回歸模型

一、多元線性回歸模型

●多元線性回歸模型的一般形式為：

Y=β₀+β₁*X₁+β₂*X₁+?+β_k*X₁+μ

其中k為解釋變量的數目, β_j (j=0,1,?,k)稱為回歸系數。上式也被稱為總體隨機函數的隨機表達形式。人們習慣上把常數項看作一個虛變量的參數，在參數估計過程中該虛變量的樣本觀測值始終取1。這樣，模型中解釋變量的數目為k+1.
●總體隨機函數的非隨機表達形式：

E(Y|X₁,X₂,?,X_k)=β₀+β₁*X₁+β₂*X₁+?+β_k*X₁

可見，多元回歸分析是以多個解釋變量的給定值為條件的回歸分析.上式表示，各解釋變量X值給定時Y的平均響應。β_j也被稱為偏回歸系數，表示在其他解釋變量保持不變的情況下，X_j每變化一個單位時，Y的均值E(Y)的變化。

二、多元線性回歸的基本假設

●為了使參數估計量具有良好的統計性質，對多元線性回歸模型可做出類似于一元線性回歸分析那樣的若干基本假設：
①回歸模型是正確設定的。
②解釋變量X₁,X₂?,X_k是非隨機的或固定的，且各X_j之間不存在嚴格的線性相關性(無完全多重共線性)。
③各解釋變量X_j在所抽取的樣本中具有變異性，而且隨著樣本容量的無限增加，各個解釋變量的樣本方差趨近于一個非零的有限常數。
④隨機誤差項具有條件零均值、同方差及不序列相關。
⑤解釋變量與隨機項不相關
⑥隨機項滿足正態分布。

3.2多元線性回歸模型的參數估計

●多元線性回歸在滿足3.1節所列出的基本假設的情況下，可采用如下方法進行參數估計：
①普通最小二乘法
②最大似然法
③矩估計法

四、參數統計量的統計性質

●當多元回歸模型滿足基本假設時，其參數的最小二乘估計、最大似然估計及距估計仍然具有線性性、無偏性和有效性。同時，隨著樣本容量增加，即當n→+∞時，參數估計量具有漸進無偏、一致性及漸進有效性。

五、樣本容量問題

●所謂“最小樣本容量”，即從最小二乘原理和最大似然原理出發，欲得到參數估計量，不管參數估計量的質量如何，所要求的樣本容量的下限。即樣本容量必須不少于模型中解釋變量的數目(包含常數項),這就是最小樣本容量。
●雖然滿足最小樣本容量，可以得到參數估計量。但當樣本容量n太小時，除了參數估計量不好以外，一些建立模型所需的后續工作也無法進行。所以一般經驗認為，當n>=30或者至少n>=3(k + 1)時，才能說滿足模型估計的一般要求。
●如果出現樣本容量較小，甚至少于“最小樣本容量”的情況，那么只依靠樣本信息是無法完成模型估計的。這時需要引入非樣本信息，如先驗信息和后驗信息，并采用其他估計方法，如貝葉斯估計方法，才能完成模型的參數估計。

3.3多元線性回歸模型的統計檢驗

一、擬合優度檢驗

●可決系數與調整的可決系數
可決系數：

ESS為回歸平方和, RSS為殘差平方和,TSS為總離差平方和.

調整后的可決系數：

調整的可決系數與可決系數之間的關系：

●赤池信息準則(AIC)和施瓦茨準則(SC)
為了比較所含解釋變量個數不同的多元回歸模型的擬合優度，常用AIC準則和SC準則，其定義分別為:

二、方程總體線性的顯著性檢驗(F檢驗)

●方程總體線性的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系在總體上是否顯著成立，作出推斷。
●方程顯著性的F檢驗
F檢驗思想來源于總離差平方和的分解式：

TSS=ESS+RSS F檢驗的統計量： 

服從自由度為(k,n-k-1)的F分布。
因此，給定顯著性水平α，當：F>F_α (k,n-k-1)時，拒絕原假設，則原方程線性關系顯著；反之，當：F<F_α (k,n-k-1)時，不能拒絕原假設，則原方程線性關系不顯著.
●關于擬合優度檢驗和方程總體線性的顯著性檢驗之間的關系:

由上式可知F與R²同向變化。當R²=0時，F = 1,當R²=1時，F為無窮大。因此，F檢驗是所估計回歸方程的總顯著性的一個度量，也是R²的一個顯著性檢驗，亦即，檢驗原假設H₀:β₁=0,β₂=0,?β_k=0,等價于檢驗R²=0這一虛擬假設.
我們在應用中，不必對R²過分苛求，重要的是考察模型的經濟關系是否合理。

三、變量的顯著性檢驗(t檢驗)

●在一元線性回歸中，t檢驗和F檢驗是一致的。

F=t²

●沒有絕對的顯著性水平。關鍵是考察變量在經濟關系上是否對解釋變量有影響，顯著性檢驗起到驗證作用；同時，還要看顯著性水平不太高的變量在模型中的作用，不要簡單地剔除變量。

四、參數的置信區間

●在1-α的置信度下β_j的置信區間是：

3.4多元線性回歸模型的預測

●若給定樣本以外的解釋變量的觀測值X₀,可以得到被解釋變量的預測值：

嚴格的說這只是被解釋變量預測值的估計值，而不是預測值。為了進行科學的預測，還需求出預測值的置信區間，包括均值E(Y₀)和點預測值Y₀的置信區間。
●給定1-α的置信水平下E(Y₀)置信區間：

●給定1-α的置信水平下Y₀的置信區間：

3.5可化為線性的多元非線性回歸模型

●在實際生活中，經濟變量的關系是復雜的，直接表現為線性關系的情況并不多。但是這些非線性模型又可以通過一些簡單地數學處理，使之化為數學上的線性關系，從而可以運用線性回歸的方法建立線性計量經濟學模型。

一、模型的類型與變換

●模型的類型與變換
1.倒數模型、多項式模型與變量的直接置換法
2.冪函數模型、指數函數模型與函數變換法
3.復雜函數模型與級數展開法

三、非線性普通最小二乘法

●普通最小二乘原理
●高斯-牛頓迭代法
●牛頓-拉弗森迭代法
無論是高斯-牛頓迭代法還是牛頓-拉弗森迭代法，都存在一個問題，即如何保證迭代所逼近的是總體極小值(即最小值)而不是局部極小值？這就需要選擇不同的初值，進行多次迭代求解。

3.6受約束回歸

一、模型參數的線性約束

●在同一數據樣本下，記無約束樣本回歸模型的矩陣式為：

記受約束樣本回歸模型的矩陣式為：

可以證明：

受約束樣本回歸模型的殘差平方和不小于無約束樣本回歸模型的殘差平方和，且兩者總離差平方和相等，于是，受約束樣本回歸模型的回歸平方和ESS_R不大于無約束樣本回歸模型的回歸平方和ESS_U。這意味著，通常情況下，對模型施加約束條件會降低模型的解釋能力。
但是，如果約束條件為真，則受約束回歸模型與無約束回歸模型具有相同的解釋能力，從而使得RSS_R和RSS_U的差異變小。于是，可用RSS_R-RSS_U的大小來檢驗約束條件的真實性。

●我們可以通過如下F統計量對約束條件的真實性進行檢驗：

根據該統計量，如果約束條件為真，則F統計量較小，不能拒絕原假設；如果約束條件為假，則F統計量較大，拒絕原假設。

二、對回歸模型增加或減少解釋變量

●建立回歸模型時，一個重要的問題是如何判斷增加重要的解釋變量或去除不必要的解釋變量。t檢驗可以對單個變量的取舍進行判斷，而線性約束模型的F檢驗，則能對多個變量的取舍同時進行判斷。

●考慮如下兩個回歸模型：

(1)可以看成是(2)施加了如下約束條件的受約束回歸：

相應的F統計量為：

另一個等價的式子：

R²_U和R²_R分別為無約束和受約束回歸方程的可決系數。

三、參數的穩定性

●鄒氏參數穩定性檢驗
●鄒氏預測檢驗

總結

以上是生活随笔為你收集整理的《计量经济学》学习笔记之多元线性回归模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。