?

yi稱為應變量

xi稱為自變量

beta稱為參數向量； beta的長度為p. 樣本數為n, n>p

epilson稱為隨機誤差

?

對所有評價函數有兩個假設：

1 矩陣X的秩為p. X 線性無關、滿秩

2 xi不包含誤差因素， error-free。 誤差提到了epilson中

?

經典線性無關模型：

1 epilson期望為0

2 方差為 d， 服從正態分布

?

?

OLS， ordinary least squares

假設b就是參數beta的取值， yi - xi * b稱為第i項觀測的 residual殘差。

SSR， sum of squared residual 稱為殘差平方和S(b)

S(b) = sigma(yi - xi * b)^2 = (y - Xb)'? *?(y - Xb)

b使得S(b)取值最小， 稱為OLS estimator for beta。

beta = min(b|S(b)) = (X'X)-1X'y

After we have estimated β, the fitted values (or predicted values) from the regression will be

y = X*beta = P y

總結

以上是生活随笔為你收集整理的linear regression的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。