一元線性回歸

變量間的關(guān)系

　變量與變量之間的關(guān)系分為確定性關(guān)系和相關(guān)性關(guān)系。
　確定性關(guān)系是指當自變量給定一個值的時候，就能計算出應變量的值。例如物體下落高度h與下落時間t的關(guān)系：h=12gt2。
　相關(guān)性關(guān)系是指變量之間的關(guān)系不確定，表現(xiàn)為具有隨機性的一種“趨勢”。對自變量X的同一個值，取得的因變量Y的值可能不同，而且是隨機的。但對應X在一定范圍內(nèi)的不同值，可以觀測到Y(jié)隨X的變化呈現(xiàn)出一定的趨勢。E(Y)=μ(x)（這句話說得真是妙。以前因果關(guān)系這樣的邏輯深深地刻在腦海里，總覺得所有事情都是由A=>B。這種即隨機，又趨勢的這種關(guān)系從未曾理解過）
　
　相關(guān)性關(guān)系的例子生活中是有很多的。身高和體重沒有確定的函數(shù)關(guān)系，但從統(tǒng)計意義上講身高高的，體重大。

概念與模型

　一元線性回歸研究一個變量對另外一個變量的影響。
　解釋變量x
　響應變量Y
　Y的變化除了X的影響外，還有其他隨機因素的影響，記為ε
　對從總體(x,Y)中抽取的一個樣本：(x1,Y1),(x2,Y2),....(xn,Yn)。字母大小寫區(qū)別了是解釋變量，還是響應變量。
　Yi=β0+β1xi+εi,i=1,2..n
　εi~N(0,σ2)，且相互獨立
　β0,β1是回歸系數(shù)，未知；σ2未知
　y關(guān)于x的一元線性回歸：y^=β^0+β^1xi
　樣本值(x1,y1),(x2,y2)...(xn,yn)

回歸系數(shù)估計

　β0,β1的估計采用最小二乘法。
　Q(β0,β1)=∑ni=1(yi?(β0+βixi))2，能夠使得Q(β0,β1)最小的β0,β1的值就是估計的β^0,β^1。
　求導，導數(shù)為0，得到β^0,β^1。整理方程組得到：
　β^0=yˉ?xˉβ^1
　β^1=sxy/sxx
　其中xˉ=1n∑ni=1xi，yˉ=1n∑ni=1yi，sxx=∑ni=1(xi?xˉ)2，sxy=∑ni=1(xi?xˉ)(yi?yˉ)，syy=∑ni=1(yi?yˉ)2
　說明：最小二乘法事先并不需要知道Y與x之間一定有線性關(guān)系?？梢酝ㄟ^專業(yè)知識，或者根據(jù)實際觀測的數(shù)據(jù)用假設檢驗方法來判斷。

σ2估計

　ei=yi?y^i，ei是εi的估計。
　σ2=D(εi)=E(εi)2
　用殘差平方和∑ni=1(yi?y^i)2估計σ2
　可以證明E(∑ni=1(yi?y^i)2)=(n?2)σ2，因此S2=1n?2∑ni=1(yi?y^i)2是σ2的無偏估計。

線性假設的顯著性檢驗

H0假設

　H0:β1=0
　H1:β1≠0
　如果接受H0，x與Y沒有線性關(guān)系，回歸方程無意義；如果拒絕H0，說明回歸效果顯著。
　x與Y沒有回歸效果不顯著的原因可能有：1 影響Y的因素除了x還有別的因素且不能忽略；2E(Y)與x的關(guān)系不是線性關(guān)系，而是其他關(guān)系；3Y與x沒關(guān)系?！?/p>

回歸方程檢驗

回歸系數(shù)檢驗

回歸系數(shù)的置信區(qū)間

　(β^1±tα/2(n?2)ssxx???√)

一元線性回歸方程的應用–預測

　y^0=β^0+β^1x0 在x=x0點預測y0。
　

總結(jié)

以上是生活随笔為你收集整理的第八章方差分析以及线性回归(2)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。