?
今天這篇來講講加權最小二乘法(WLS)，加權最小二乘是在普通的最小二乘回歸(OLS)的基礎上進行改造的。主要是用來解決異方差問題的，關于異方差可以看看：講講什么是異方差

OLS的常規形式如下：

我們在前面講過OLS有幾個基本假定，其中一個就是ui是隨機干擾項，即隨機波動的，不受其他因素的影響，即在x取不同值時var(ui)都是一個固定的常數。但有的時候ui不是隨機干擾項，而是與x的取值有關的，比如在研究年齡和工資收入的之間的關系時，隨著年齡越大，ui的波動是會越大的，即var(ui)不是常數了，這就是出現了異方差。此時的數據不滿足OLS的基本假定，所以如果直接使用OLS進行估計，會使估計出來的結果是有偏的。

如果我們在估計的時候可以把不同x的對應的ui的大小考慮進去的話，得到的結果應該就是ok的。那我們應該如何考慮進去呢？

假設不同x對應的ui的波動(方差)為σi^2，我們在OLS基本方程左右兩邊同時除σi，最后得到如下結果：

為了讓方程看起來更加熟悉一點，我們再做一個變換：

變換后的方程是不是就和普通的OLS的方程形式是一樣的了，此時的方程也滿足基本的OLS假定，因為我們把不同x對應的σi給除掉了。就可以利用普通OLS方程的方法進行求解了。我們把這種變換后的方程稱為WLS，即加權最小二乘法。

雖然整體思路上沒啥問題了，但是這里還有一個關鍵問題就是σi怎么獲取呢？

先用普通最小二乘OLS的方法去估計去進行估計，這樣就可以得到每個x對應實際的殘差ui，然后將ui作為σi。1/ui作為權重在原方程左右兩邊相乘，將得到的新的樣本值再去用普通最小二乘估計即可。

以上就是關于加權最小二乘的一個簡單介紹。

總結

以上是生活随笔為你收集整理的加权最小二乘法的原理讲解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。