最小二乘、加權最小二乘（WLS）、迭代加權最小二乘（迭代重加全最小二乘）（IRLS）

• 最小二乘：

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。

$X=?\begin{array}{ccc}{x}_{11}& x_{12}& ...\\ x_{21}& x_{22}& ...\\ x_{31}& x_{32}& ...\\ ...& ...& x_{mn}\end{array}?$ $Y=?\begin{array}{c}{y}_1\\ ...\\ y_m\end{array}?$ $\theta =?\begin{array}{c}{\theta }_1\\ ...\\ {\theta }_n\end{array}?$
$X$中每一列為特征，每一行代表一個樣本；$Y$為標簽；$\theta$是參數
有優化問題：$$f(\theta )=\frac{1}{2}{\left|\left|X\theta ?Y\right|\right|}^2$$
$$f(\theta )=\frac{1}{2}({\theta }^T{X}^{T}X\theta ?{\theta }^T{X}^{T}Y?Y^{T}X\theta +Y^{T}Y)$$
對函數$f(\theta )$關于參數$\theta$求偏導：$$\frac{?f(\theta ))}{?\theta }=X^{T}X\theta ?X^{T}Y=0$$
$$\theta =(X^{T}X{)}^{?1}{X}^{T}Y$$
得到$\theta$的解析解。

• 加權最小二乘（WLS）：
  加權最小二乘是在普通最小二乘的基礎上對每個樣本引入權重，調整不同樣本誤差對損失函數的貢獻率。

加權最小二乘法是對原模型進行加權，使之成為一個新的不存在異方差性的模型，然后采用普通最小二乘法估計其參數的一種數學優化技術。
異方差性是相對于同方差而言的。所謂同方差，是為了保證回歸參數估計量具有良好的統計性質，經典線性回歸模型的一個重要假定：總體回歸函數中的隨機誤差項滿足同方差性，即它們都有相同的方差。

$X$、$Y$、$\theta$定義如上，引入對角矩陣$W$
$$W=?\begin{array}{cccc}{w}_{11}& ...& 0& 0\\ 0& w_{22}& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& w_{mm}\end{array}?$$
損失函數變為：$f(\theta )=\frac{1}{2}{\Vert W(X\theta ?Y)\Vert }^2$
$$f(\theta )=\frac{1}{2}(W{\theta }^T{X}^{T}A\theta ?W{\theta }^T{A}^{T}Y?W{Y}^{T}A\theta +W{Y}^{T}Y)$$

對函數$f(\theta )$關于參數$\theta$求偏導：$$\frac{?f(\theta )}{?\theta }=?X^T{W}^{T}WY+X^T{W}^{T}WX\theta =0$$
$$\theta =(X^T{W}^{T}WX{)}^{?1}{X}^T{W}^{T}WY$$

• 迭代重加權最小二乘（IRLS）：

迭代重加權最小二乘（IRLS）與迭代加權最小二乘（IWLS）雖然名字不一樣，但是內容確實一樣，IRLS與IWLS指的都是同一種算法，（我在網上查了很多博客，發現許多人喜歡把IRLS叫做迭代加權最小二乘）
IRLS用來求解p范數的問題，將p范數問題轉化為2范數求解。

目標函數：$f(\theta )={\Vert AX?Y\Vert }_p^p$，這里的${\Vert AX?Y\Vert }_p$是一個$p$范數。計算方式如：${\Vert X\Vert }_p=\sqrt[p]{x_1^p+x_2^p+...+x_m^p}$。
所以$f(\theta )=\underset{\theta }{\mathrm{argmin}}{\sum }_{i=1}^m(x_i\theta ?y_i{)}^p$
$$f(\theta )=\underset{\theta }{\mathrm{argmin}}\sum _{i=1}^m(x_i\theta ?y_i{)}^{p?2}(x_i\theta ?y_i{)}^2$$
$$f(\theta )=\underset{\theta }{\mathrm{argmin}}\sum _{i=1}^m{w}_i^2(x_i\theta ?y_i{)}^2$$
所以：
$$w_i^2=|x_i\theta ?y_i{|}^{p?2}$$
$$w_i=|x_i\theta ?y_i{|}^{\frac{p?2}{2}}$$
寫成矩陣形式就是：
$$f(\theta )=\frac{1}{2}||W(X\theta ?Y)|{|}^2=\frac{1}{2}{W}^2{\Vert X\theta ?Y\Vert }^2$$
$${\theta }_{new}=(X^T{W}_{new}^T{W}_{new}X{)}^{?1}{X}^T{W}_{new}^T{W}_{new}Y$$
$$W_{new}=|X{\theta }_{old}?Y{|}^{\frac{p?2}{2}}$$
IRLS參考文獻：Burrus C S. Iterative re-weighted least squares[J]. Comm.pure Appl.math, 2009, 44(6):1-9.

總結

以上是生活随笔為你收集整理的最小二乘、加权最小二乘（WLS）、迭代加权最小二乘（迭代重加全最小二乘）（IRLS）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。