邏輯回歸

上一節我們知道，使用線性回歸來處理 0/1 分類問題總是困難重重的，因此，人們定義了邏輯回歸來完成 0/1 分類問題，邏輯一詞也代表了是（1） 和 非（0）。

Sigmoid預測函數

在邏輯回歸中，定義預測函數為：
$$h_{\theta }(x)=g(z)$$

其中， $z={\theta }^{T}x$ 是分類邊界，且 $g(z)=\frac{1}{1+e^{?z}}$ 。

$g(z)$ 稱之為 $SigmoidFunction$，亦稱 $LogicFunction$，其函數圖像如下：

可以看到，預測函數 $h_{\theta }(x)$ 被很好地限制在了 0、1 之間，并且，$sigmoid$ 是一個非常好的閾值函數：閾值為 0.5 ，大于 0.5 為 1 類，反之為 0 類。函數曲線過渡光滑自然，關于 0.5 中心對稱也極具美感。

決策邊界

決策邊界，顧名思義，就是用來劃清界限的邊界，邊界的形態可以不定，可以是點，可以是線，也可以是平面。Andrew Ng 在公開課中強調：“決策邊界是預測函數 $h\theta (x)$ 的屬性，而不是訓練集屬性”，這是因為能作出“劃清”類間界限的只有 $h\theta (x)$ ，而訓練集只是用來訓練和調節參數的。

• 線性決策邊界：
  $$h_{\theta }(x)=g({\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$$

• 非線性決策邊界：
  $$h_{\theta }(x)=g({\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2)$$

預測代價函數

對于分類任務來說，我們就是要反復調節參數 $\theta$ ，亦即反復轉動決策邊界來作出更精確的預測。假定我們有代價函數 $J(\theta )$ ，其用來評估某個 $\theta$ 值時的預測精度，當找到代價函數的最小值時，就能作出最準確的預測。通常，代價函數具備越少的極小值，就越容易找到其最小值，也就越容易達到最準確的預測。

下面兩幅圖中，左圖這樣犬牙差互的代價曲線（非凸函數）顯然會使我們在做梯度下降的時候陷入迷茫，任何一個極小值都有可能被錯認為最小值，但無法獲得最優預測精度。但在右圖的代價曲線中，就像滑梯一樣，我們就很容易達到最小值：

邏輯回歸定義的代價函數為：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$

為保證代價函數呈凸形曲線，則定義$Cost(h_{\theta }(x^{(i)}),y^{(i)})$
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}?log(h_{\theta }(x)),& ify=1\\ ?log(1?h_{\theta }(x)),& ify=0\end{array}$$

該函數等價于：
$$Cost(h_{\theta }(x),y)=?ylog(h_{\theta }(x))?(1?y)log(1?h_{\theta }(x))$$$$=(log(g(X\theta ){)}^{T}y+(log(1?g(X\theta ){)}^T(1?y)$$

代價函數隨預測值 $h_{\theta }(x)$ 的變化如下：


可以看到，當 $h\theta (x)\approx y$ 時， $cost\approx 0$ ，預測正確。

最小化代價函數

與線性回歸一樣，也使用梯度下降法來最小化代價函數：

• 批量梯度下降法

$$重復直到收斂（Repeatuntilconvergence）：$$

$$fori=1tom:$$

$$forj=1ton:$$

$${\theta }_j:={\theta }_j+\frac{1}{m}\sum _{i=1}^m(y_i?h_{\theta }(x^{(i)}))x_j^{(i)}$$

通過矩陣型表示
$$重復直到收斂（Repeatuntilconvergence）:$$

$$\theta :=\theta +\alpha ?\frac{1}{m}{X}^T(y?g(X\theta ))$$

• 隨機梯度下降法
  $$重復直到收斂（Repeatuntilconvergence）:$$

$$fori=1tom:$$

$$\theta :=\theta +\alpha ?(y_i?h_{\theta }(x^{(i)}))x_j^{(i)}$$

總結

以上是生活随笔為你收集整理的2.2 逻辑回归-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。