緊接上一篇博客，多變量梯度下降法的表達式形式與單變量一致，只是變量的擴充以及每次迭代需要對每個變量進行操作（同樣是所有變量一次性更新）。假設函數、代價函數和梯度下降的表達式分別如下：
$$h_{\theta }(x)={\theta }^{T}x$$$$J(\theta )=\frac{1}{2m}\sum _{i=0}^m(h_{\theta }(x_i)?y_i{)}^2$$KaTeX parse error: No such environment: align at position 7: \begin{?a?l?i?g?n?}?\theta_j:=\thet…
對于多變量，往往每個特征變量的取值范圍差異很大，在利用梯度下降法進行迭代運算求$J(\theta )$的最小值時，迭代路徑受數值大的變量影響較大，而數值小的變量可能會在最優值附近反復振蕩，造成迭代路徑的曲折，收斂緩慢。因此為了更快收斂，一般把各變量歸一化成取值范圍大概一致（feature scaling）。一般取$?1\le x_i\le 1$或者$?0.5\le x_i\le 0.5$，（不是嚴格規定）。對于一個一般變量，通常取$$x_i:=\frac{x_i?{\mu }_i}{s_i}$$這里${\mu }_i$是$x_i$的樣本平均值，$s_i$是取值范圍（max - min），或者$s_i$取為標準差。

[外鏈圖片轉存失敗(img-69raoK7f-1562665150709)(https://img-my.csdn.net/uploads/201206/28/1340891220_5273.jpg)]

對于回歸問題，顯然假設函數$h_{\theta }(x)$并不是與每個特征變量均成線性關系，可能會出現如$h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2^2 $的形式，這稱為多項式回歸（Polynomial Regression）。

但是，可以通過適當變形把其轉變為線性回歸。在此例子中，令$x_2=x_2^2$，則$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$。此外，可令$x_3=x_1{x}_2$，$x_4=\sqrt{x_1}$等各種不同方式對變量變形，使其成為線性回歸問題。運用變形后，變量范圍的歸一化就變得尤為重要。

另一種解線性回歸問題的方法是標準方程法（Normal Equation），運用該方法，可以不需要迭代而直接求出$\theta$。該方程如下：$$\theta =(X^{T}X{)}^{?1}{X}^{T}y$$
這里$\theta =?\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\end{array}?$，$y=?\begin{array}{c}{y}_0\\ y_1\\ y_2\\ ...\end{array}?$，$X=?\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& x_2^{(1)}& ...\\ x_0^{(2)}& x_1^{(2)}& x_2^{(2)}& ...\\ x_0^{(3)}& x_1^{(3)}& x_2^{(3)}& ...\\ ...& ...& ...& ...\end{array}?$
例子如下：

這個結論來源于線性代數中的投影，具體推導參考http://open.163.com/movie/2010/11/J/U/M6V0BQC4M_M6V2AJLJU.html

梯度下降法和標準方程法的比較：

Gradient DescentNormal Equation

需要選擇合適的參數$\alpha$	不需要選擇參數
需要多次迭代	不需要迭代
算法復雜度$O(k{n}^2)$	$O(n^3)$，因要計算$X^{T}X$的逆矩陣
當樣本數n很大時依然高效	樣本數n很大時計算慢

如果$X^{T}X$不可逆，有以下兩方面原因：
1、存在多余的特征變量，如其中兩個特征變量存在線性關系，如$x_2=2x_1$；
2、相比較樣本數據，特征變量太多，即$m<n$，這里$m$是樣本個數，$n$是特征變量個數

在Octave/Matlab中，用pinv()代替inv()實現矩陣取逆，即使矩陣不可逆時也可以得到正確的結果。
即標準方程的代碼實現為：

theta = pinv(X'*X)*X'*y;

總結

以上是生活随笔為你收集整理的线性回归的补充与变量归一化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。