數(shù)學(xué)建模：線性回歸模型

1.多重線性回歸模型

1.1 引入

線性回歸分類

• 簡(jiǎn)單線性回歸（一個(gè)自變量）
• 多重線性回歸（多個(gè)自變量）

線性回歸的前提條件：

• 線性（散點(diǎn)圖，散點(diǎn)圖矩陣）
• 獨(dú)立性
• 正態(tài)性（回歸分析過程中可以確定）
• 方差齊性（回歸分析過程中可以確定）：建模中存在的誤差

兩個(gè)變量：X和Y

例1：人體的身高和體重

X：人體的身高

Y：人體的體重

身高X大時(shí)，體重Y也會(huì)傾向于增大，但是X不能嚴(yán)格地決定Y

1.2相關(guān)關(guān)系

相關(guān)關(guān)系：自變量的取值一定時(shí)，因變量的取值帶有一定的隨機(jī)性的兩個(gè)變量之間的關(guān)系。

相關(guān)關(guān)系是一種非確定關(guān)系。對(duì)具有相關(guān)關(guān)系的兩個(gè)變量進(jìn)行統(tǒng)計(jì)分析的方法稱為回歸分析。

1.3經(jīng)驗(yàn)回歸方程

X：自變量或者預(yù)報(bào)變量

Y：因變量或者響應(yīng)變量
$$Y\{\begin{array}{l}X能夠決定的部分f(x)\\ 其他未考慮的因素e：誤差\end{array}$$
? 則得到下面的模型：
$$\begin{gathered} Y=f(x)+e,E(e)=0 \\ 特別的，當(dāng)f(X)={\beta }_0+{\beta }_{1}X時(shí)是線性函數(shù) \\ {\beta }_0和{\beta }_1都稱作回歸系數(shù) \end{gathered}$$

• 第一步：確定模型
• 第二步：觀測(cè)模型

于是有n組觀測(cè)值(xi , yi )，如果Y與X 滿足回歸系數(shù)時(shí)，則(xi , yi )滿足：
$$y_i={\beta }_0+{\beta }_1{x}_i+e_i，i=1,2,...,n$$

• 第三步：確定未知參數(shù)值

  根據(jù)第二步得到的方程組，應(yīng)用用統(tǒng)計(jì)方法，可以得到${\beta }_0$和${\beta }_1$的估計(jì)值${\hat{\beta }}_0$和${\hat{\beta }}_1$

• 第四步：求得經(jīng)驗(yàn)方程

  將估計(jì)值${\hat{\beta }}_0$和${\hat{\beta }}_1$帶入線性回歸方程，略去誤差項(xiàng)：
  $$Y={\hat{\beta }}_0+{\hat{\beta }}_{1}X$$
  稱為經(jīng)驗(yàn)回歸方程

1.4多元線性模型

多元線性回歸的一般形式：
$$Y={\beta }_0+{\beta }_{1}x+...++{\beta }_{p?1}x+e_i$$
同樣${\beta }_0$為常數(shù)項(xiàng)，$\beta_1,…,\beta_{p-1} $為回歸系數(shù)，$e$為隨機(jī)誤差.

• 觀測(cè)數(shù)據(jù)

  多元線性模型就是有多個(gè)未知數(shù)$\beta$
  $$y=?\begin{array}{c}{y}_1\\ y_2\\ ?\\ y_n\end{array}?,X=?\begin{array}{cccc}1& x_{11}& ?& x_{1,p?1}\\ 1& x_{21}& ?& x_{2,p?1}\\ ?& ?& ?& ?\\ 1& x_{n1}& ?& x_{n,p?1}\end{array}?,\beta =?\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ?\\ {\beta }_{p?1}\end{array}?,e=?\begin{array}{c}{e}_1\\ e_2\\ ?\\ e_n\end{array}?$$

• 確定回歸系數(shù)

• 求經(jīng)驗(yàn)回歸方程

設(shè)$\hat{\beta }=({\hat{\beta }}_0,{\hat{\beta }}_1,?,{\hat{\beta }}_{p?1}{)}^{\prime }$為$\beta$的一種估計(jì)，則經(jīng)驗(yàn)方程是：
$$Y={\hat{\beta }}_0+{\hat{\beta }}_1{X}_1+?+{\hat{\beta }}_{p?1}{X}_{p?1}$$

1.5 非線性模型

非線性模型經(jīng)過適當(dāng)變換，轉(zhuǎn)換為線性模型：比如兩邊取對(duì)數(shù)
$$\ln Q_t=\ln a+b\ln L_t+c\ln K_t$$
令
$$y_t=\ln Q_t;x_{t1}=\ln L_t,{\beta }_0=\ln a,{\beta }_1=b,{\beta }_2=c$$

加上誤差項(xiàng)即是線性關(guān)系

2.參數(shù)估計(jì)（最小二乘法）

在高等數(shù)學(xué)中有最小二乘法的介紹。簡(jiǎn)單地說就是要通過確定一系列的系數(shù)$\beta$，使所有情況下的誤差最小，即：
$$e=|y?X\beta |$$
的值最小。由于絕對(duì)值不好處理，這里轉(zhuǎn)化成平方形式：
$$e=(y?X\beta {)}^2$$
上式展開，對(duì)$\beta$求偏導(dǎo)，使其為0，得到線性方程組，解出${\beta }_i$即可，這一組$\beta$即是估計(jì)出的參數(shù)值。即是通過這一步最終得到了經(jīng)驗(yàn)方程：
$$\hat{Y}={\hat{\beta }}_0+{\hat{\beta }}_1{X}_1+?+{\hat{\beta }}_{p?1}{X}_{p?1}$$
上述方程還需要進(jìn)一步做統(tǒng)計(jì)分析，來確定是否， 描述了因變量與自變量的真實(shí)關(guān)系。

另外，進(jìn)行線性回歸之前，為了消除量綱等因素的影響，我們通常會(huì)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理有

• 中心化
• 標(biāo)準(zhǔn)化

3.回歸方程假設(shè)檢驗(yàn)

但是經(jīng)驗(yàn)回歸方程是否真正刻畫了因變量與自 變量之間的關(guān)系？——回歸方程的顯著性檢驗(yàn)

因變量和所有自變量之間是否存在顯著的關(guān)系？——回歸系數(shù)的顯著性檢驗(yàn)

異常點(diǎn)檢驗(yàn)

3.1回歸方程的顯著性檢驗(yàn)

正態(tài)線性回歸模型：
$$\begin{gathered} y_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_{i1}+?+{\hat{\beta }}_{p?1}{x}_{i,p?1}+e_i \\ {e}_i——N(0,{\sigma }^2),i=1,?,n \end{gathered}$$
經(jīng)驗(yàn)方程是否正確刻畫因變量與自變量之間的關(guān)系需要進(jìn)行回歸方程的顯著性檢驗(yàn)：
假設(shè)檢驗(yàn)：所有回歸系數(shù)都為0，即$H:{\beta }_1={\beta }_2=,...,={\beta }_{p?1}=0$

拒絕原假設(shè)：至少有一個(gè)${\beta }_i$不等于0

接受原假設(shè)：所有的${\beta }_i$都等于0，相對(duì)誤差而言，所有自變量對(duì)因變量Y 的影響是不重要的。

• 顯著性檢驗(yàn)

  設(shè)$m=p?1$，檢驗(yàn)假設(shè)H：${\beta }_1=?={\beta }_{p?1}=0$的統(tǒng)計(jì)量為：
  $$F_{回}=\frac{S{S}_{回}/p?1}{RSS/n?p}$$
  當(dāng)原假設(shè)成立時(shí)，$F_{回}$~$F_{p?1,n?p}$

  對(duì)于某一置信度$\alpha$，$F_{回}>F_{p?1,n?p}(\alpha )$時(shí)，拒絕原假設(shè)，否則就接受H

• 回歸系數(shù)的顯著性檢驗(yàn)

• 異常點(diǎn)檢驗(yàn)

4.衡量多重回歸模型優(yōu)劣的標(biāo)準(zhǔn)

4.1判定系數(shù)

$$SST=SSE+SSR?\begin{array}{l}SST=\sum _{i=1}^n(y_i?\overline{y}{)}^2\\ SSE=\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2\\ SSR=\sum _{i=1}^n({\hat{y}}_i?\overline{y}{)}^2\end{array}$$

另外我們定義了$R^2$
$$R^2=\frac{SSR}{SST}，0\le R^2\le 1$$
$R^2$越接近1，表示X和Y有較大的相依關(guān)系

5.回歸自變量的選擇

6.多重復(fù)共線性判斷

一些大型線性回歸問題(自變量較多)，最小二乘估計(jì)有時(shí)表現(xiàn)不理想 ：

• 有些回歸系數(shù)的絕對(duì)值異常大
• 回歸系數(shù)的符號(hào)與實(shí)際意義相違背

復(fù)共線性：回歸自變量之間存在著近似線性關(guān)系。

復(fù)共線性嚴(yán)重程度的判斷

①方陣$X^{\prime }X$的條件數(shù)：最大特征值與最小特征值的比值
$$k=\frac{{\lambda }_1}{{\lambda }_p}$$
有下面的判斷標(biāo)準(zhǔn)：

②方差膨脹因子

方差膨脹因子 𝐕𝐚𝐫𝐢𝐚𝐧𝐜𝐞 𝐈𝐧𝐟𝐥𝐚𝐭𝐢𝐨𝐧 𝐅𝐚𝐜𝐭𝐨𝐫， 𝐕𝐈𝐅 : 𝑽𝑰𝑭越大，表示共線性越嚴(yán)重。 𝑽𝑰𝑭一般不應(yīng)該大于𝟓， 當(dāng)𝑽𝑰𝑭＞𝟏𝟎時(shí)，提示有嚴(yán)重的多重共線性存在

• 解決方案

(1) 增大樣本含量，能部分解決復(fù)共線性問題。

(2) 把多種自變量篩選的方法結(jié)合起來組成擬合模型。建立一個(gè) “最優(yōu)”的逐步回歸方程，但同時(shí)丟失一部分可利用的信息

(3) 從專業(yè)知識(shí)出發(fā)進(jìn)行判斷，去除專業(yè)上認(rèn)為次要的，或者是 缺失值比較多、測(cè)量誤差較大的共線性因子。

(4) 進(jìn)行主成分分析，提取公因子代替原變量進(jìn)行回歸分析。

7.殘差分析和回歸診斷

7.1殘差分析

目的：

• 線性假設(shè)的檢驗(yàn)
• 所有水平的x的常數(shù)方差的檢驗(yàn)
• 正態(tài)分布的檢驗(yàn)

殘差圖分析

• 通過殘差圖判斷正態(tài)性

殘差：$\hat{e}=y?X\hat{b}$，其中將$\hat e $稱為殘差;$\hat y = X\hat b$，$\hat y_i$稱為擬合值。

以殘差為縱坐標(biāo)，以任何其他的量為橫坐標(biāo)的散點(diǎn)圖，稱為殘差圖。

這里以擬合值${\hat{y}}_i$為橫軸，$r_i$為縱軸的殘差圖，平面上的點(diǎn)應(yīng)該落在寬度為4的水平帶$?2\le r_i\le 2$的區(qū)域內(nèi)，且不呈任何趨勢(shì)。

，其中將$\hat e $稱為殘差;$\hat y = X\hat b$，$\hat y_i$稱為擬合值。

以殘差為縱坐標(biāo)，以任何其他的量為橫坐標(biāo)的散點(diǎn)圖，稱為殘差圖。

這里以擬合值${\hat{y}}_i$為橫軸，$r_i$為縱軸的殘差圖，平面上的點(diǎn)應(yīng)該落在寬度為4的水平帶$?2\le r_i\le 2$的區(qū)域內(nèi)，且不呈任何趨勢(shì)。

[外鏈圖片轉(zhuǎn)存中…(img-TaQX83rE-1627610395779)]

[外鏈圖片轉(zhuǎn)存中…(img-8Xf0EFkx-1627610395781)]

總結(jié)

以上是生活随笔為你收集整理的数学建模：线性回归模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。