文章目錄

• • 那什么什么是加權(quán)最小二乘法？
  • 異方差的修正

在需要人為地改變觀測(cè)量的權(quán)重的應(yīng)用場(chǎng)合中，都會(huì)涉及到加權(quán)最小二乘法的應(yīng)用。

那什么什么是加權(quán)最小二乘法？

加權(quán)最小二乘法的概念：
加權(quán)最小二乘是對(duì)原模型進(jìn)行加權(quán)，是該模型成為 一個(gè)新的不存在異方差性的模型，然后對(duì)該新模型使用普通最小二乘法估計(jì)其參數(shù)進(jìn)行優(yōu)化。

相關(guān)概念梳理：

異方差性的解釋：隨機(jī)誤差的方差不全相等。異方差性是相對(duì)于同方差而言的，同方差是為了保證回歸參數(shù)估計(jì)量具有良好的統(tǒng)計(jì)特性。也就是線性回歸函數(shù)中的隨機(jī)誤差項(xiàng)（擾動(dòng)項(xiàng)）必須滿足同方差性，即方差都相同。

異方差性存在的影響：如果隨機(jī)誤差項(xiàng)的均值為零，則彼此獨(dú)立，但是方差不等，即使最小二乘估計(jì)具有無(wú)偏性和一致性，但卻不是最優(yōu)線性無(wú)偏估計(jì)。因此回歸模型的預(yù)測(cè)值會(huì)波動(dòng)較大。

無(wú)偏性：
如果總體參數(shù)為seta，seta1為估計(jì)量，如果E(seta1)=seta，那么seta1為seta的無(wú)偏估計(jì)量。

一致性：
樣本數(shù)目越大，估計(jì)量就越來(lái)越接近總體參數(shù)的真實(shí)值。如果seta1在seta周圍震蕩，那么滿足無(wú)偏性卻不滿足一致性。

有效性：
指估計(jì)量與總體參數(shù)的離散程度，如果兩個(gè)估計(jì)量都是無(wú)偏的，那么離散程度較小的估計(jì)量相對(duì)來(lái)說(shuō)是有效的，離散程度用方差來(lái)衡量。

如果線性回歸模型存在異方差性，則用傳統(tǒng)的最小二乘法估計(jì)模型，所得到的參數(shù)估計(jì)不是有效估計(jì)量，也無(wú)法對(duì)參數(shù)模型參數(shù)進(jìn)行有關(guān)顯著性檢驗(yàn)。這時(shí)異方差性就破壞了古典的模型，用正常的無(wú)權(quán)重最小二乘就不能進(jìn)行正確估計(jì)。

異方差的修正

如果模型檢驗(yàn)出存在異方差性，就用加權(quán)最小二乘法進(jìn)行估計(jì)。
加權(quán)最小二乘法的基本思想：
對(duì)原模型進(jìn)行加權(quán)，使之變成一個(gè)新的不存在異方差性的模型，然后再采用 OLS 估計(jì)其參數(shù)。

附注：本文不涉及具體公式的推導(dǎo)，二是從概念上進(jìn)行理解。

總結(jié)

以上是生活随笔為你收集整理的加权最小二乘法的理解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。