5.6 穩健最小二乘法

穩健最小二乘法是一種能有效抑制強影響點對回歸結果造成影響的方法，利用加權最小二乘法的思想，對殘差大的測量點賦予低權重，殘差正常的測量點賦予相同權重，則可以抑制異常點對結果的影響，獲得較為穩定的估計值，不易受強影響點的影響。假設第 $i$ 個測量點的殘差為 ${\delta }_i$ ，權重為 $w_i$ ，最常用的權重取值方式如下，即著名的Huber函數。

$$w_i=\{\begin{array}{rcc}1& for& |{\delta }_i|<\widehat{{\delta }_0}\\ \frac{\widehat{{\delta }_0}}{|{\delta }_i|}& for& |{\delta }_i|\ge \widehat{{\delta }_0}\end{array}$$
其中 $\widehat{{\delta }_0}$ 為參數，用來度量殘差正常范圍，小于此值的測量點是正常點，大于此值的測量點是異常點，權重需要減小。
令對角陣為：$D=diag(w_1,w_2,?,w_m)$ ，則近似解為 $\hat{\mathbf{x}}=(A^{T}DA{)}^{?1}{A}^{T}D\mathbf{b}$ 。

穩健最小二乘法的關鍵是如何獲得殘差 ${\delta }_i$ 的初始值，一般采用普通最小二乘法獲得近似解的初始估計值 ${\hat{\mathbf{x}}}^0$ ，計算初始殘差 ${\delta }_i^0=b_i?{\mathbf{a}}_{\mathbf{r}\mathbf{i}}^{\mathbf{T}}{\hat{\mathbf{x}}}^0$ 。由殘差 ${\delta }_i^0$ 估計 ${\widehat{{\delta }_0}}^0$ ，注意一般不能采用殘差 ${\delta }_i^0$ 的標準差作為 ${\widehat{{\delta }_0}}^0$ 的估計值，因為標準差易受異常值的影響，不穩健，我們需要穩健的估計值，可以采用殘差絕對值 $|{\delta }_i^0|$ 的中位數 $med(|{\delta }_i^0|，i\in [1,m])$ 為估計值。中位數就是一組數，按照大小排序后，位于正中間的元素。最終取 ${\widehat{{\delta }_0}}^0=k?med(|{\delta }_i^0|)$ ，$k$ 是比例系數，一般取 $1.9941$ =1.345*1.4826，值越大，則抗干擾能力差，無窮大時，權重恒為 $1$ ，變為普通最小二乘法；值越小，雖抗干擾能力強，但效率低，即不是所有測量點都能對估計起到同等作用，需要更多的測量點才能獲得滿意結果。

根據Huber函數獲得初始權重 $w_i^0$ ，采用加權最小二乘法獲得 ${\hat{\mathbf{x}}}^1$ ，然后迭代優化，即根據 ${\hat{\mathbf{x}}}^1$ 計算殘差 ${\delta }_i^1$ ，獲得估計值 ${\widehat{{\delta }_0}}^1=kmed(|{\delta }_i^1|)$ ，根據Huber函數獲得初始權重 $w_i^1$ ，采用加權最小二乘法獲得 ${\hat{\mathbf{x}}}^2$ 。一直進行下去，直到相鄰兩次近似解足夠接近。

該方法最大難點是如何獲得近似解的初始估計值 ${\hat{\mathbf{x}}}^0$ ，這也是該方法成敗的關鍵。當不存在影響特別大的強影響點時，采用普通最小二乘法不失為一個可行的初始估計值。但如果存在影響特別大的強影響點，則初始估計值 ${\hat{\mathbf{x}}}^0$ 受強影響點的影響，會偏離理想值，造成殘差估計偏差大，導致權重不合理，所以效果會下降。

Huber函數只利用了殘差信息來確定權重，其實還可以利用杠桿值，采用 $D_i=\frac{p_{ii}}{(1?p_{ii}{)}^2}{\delta }_i^2$ 來確定權重。
$$w_i=\{\begin{array}{rcc}1& for& D_i<\widehat{D_0}\\ \frac{\widehat{D_0}}{D_i}& for& D_i\ge \widehat{D_0}\end{array}$$
該方法閾值 $\widehat{D_0}$ 不容易確定。

總之，如果不存在強影響點，普通最小二乘法就可以得到很好的結果；如果存在強影響點，但影響不是很大，可以采用穩健最小二乘法。如果強影響點影響很大，穩健最小二乘法由于難以獲得很好的初始估計值，效果不會很好。

總結

以上是生活随笔為你收集整理的5.6 稳健最小二乘法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。