?
今天這篇來講講加權(quán)最小二乘法(WLS)，加權(quán)最小二乘是在普通的最小二乘回歸(OLS)的基礎(chǔ)上進(jìn)行改造的。主要是用來解決異方差問題的，關(guān)于異方差可以看看：講講什么是異方差

OLS的常規(guī)形式如下：

我們?cè)谇懊嬷v過OLS有幾個(gè)基本假定，其中一個(gè)就是ui是隨機(jī)干擾項(xiàng)，即隨機(jī)波動(dòng)的，不受其他因素的影響，即在x取不同值時(shí)var(ui)都是一個(gè)固定的常數(shù)。但有的時(shí)候ui不是隨機(jī)干擾項(xiàng)，而是與x的取值有關(guān)的，比如在研究年齡和工資收入的之間的關(guān)系時(shí)，隨著年齡越大，ui的波動(dòng)是會(huì)越大的，即var(ui)不是常數(shù)了，這就是出現(xiàn)了異方差。此時(shí)的數(shù)據(jù)不滿足OLS的基本假定，所以如果直接使用OLS進(jìn)行估計(jì)，會(huì)使估計(jì)出來的結(jié)果是有偏的。

如果我們?cè)诠烙?jì)的時(shí)候可以把不同x的對(duì)應(yīng)的ui的大小考慮進(jìn)去的話，得到的結(jié)果應(yīng)該就是ok的。那我們應(yīng)該如何考慮進(jìn)去呢？

假設(shè)不同x對(duì)應(yīng)的ui的波動(dòng)(方差)為σi^2，我們?cè)贠LS基本方程左右兩邊同時(shí)除σi，最后得到如下結(jié)果：

為了讓方程看起來更加熟悉一點(diǎn)，我們?cè)僮鲆粋€(gè)變換：

變換后的方程是不是就和普通的OLS的方程形式是一樣的了，此時(shí)的方程也滿足基本的OLS假定，因?yàn)槲覀儼巡煌瑇對(duì)應(yīng)的σi給除掉了。就可以利用普通OLS方程的方法進(jìn)行求解了。我們把這種變換后的方程稱為WLS，即加權(quán)最小二乘法。

雖然整體思路上沒啥問題了，但是這里還有一個(gè)關(guān)鍵問題就是σi怎么獲取呢？

先用普通最小二乘OLS的方法去估計(jì)去進(jìn)行估計(jì)，這樣就可以得到每個(gè)x對(duì)應(yīng)實(shí)際的殘差ui，然后將ui作為σi。1/ui作為權(quán)重在原方程左右兩邊相乘，將得到的新的樣本值再去用普通最小二乘估計(jì)即可。

以上就是關(guān)于加權(quán)最小二乘的一個(gè)簡(jiǎn)單介紹。

總結(jié)

以上是生活随笔為你收集整理的加权最小二乘法的原理讲解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。