目錄

1）Classification

2）Hypothesis Representation

3）Decision boundary

4）Cost function

5）Simplified cost function and gradient descent

6）Multi-class classification:One-vs-all

7）參考資料

---

現在我們開始學習邏輯回歸算法，這是一個分類算法，很多人也把它看做機器學習算法的 Hello world!

1）Classification

在分類問題中，我們要預測的變量 y 是離散的值，我們預測的結果是否屬于一個類，以下是幾種常見的分類例子：

我們從二元的分類問題開始，我們將因變量可能屬于的兩個類分別稱為?負向類和正向類。其中0表示負向類，1表示正向類。如下圖所示，當預測值超過0.5時，預測為正，小于0.5是預測為負。

在線性回歸中，我們預測值 y 既可能大于1也可能小于0，但在邏輯回歸中我們希望輸出值在0到1之間。要提醒的是，雖然這叫做邏輯回歸算法，但是它是分類算法，不是回歸算法。

2）Hypothesis Representation

前面提到，我們希望預測值在0到1之間，但我們怎么做到呢？我們介紹一種邏輯函數：Sigmoid function。這也是我們遇到的第一個激活函數，在深度學習中，我們會遇到很多激活函數，不著急，后面遇到我們再介紹。圖中 g(z）為我們的邏輯函數，右側為它的圖像，它的取值范圍永遠在0到1之間。g(z) 函數里的因變量為我們線性回歸函數的輸出值，我們只是把線性輸出變成非線性輸出。

我們來解釋一下邏輯函數的作用，如下圖它表示的是?根據選擇的參數輸出變量為1的可能性。

3）Decision boundary

來回顧一下我們之前的假設，由?g(z) 函數圖像可知，如果希望預測為1，則輸入值大于等于0，反之小于0，如圖所示：

我們來看兩個例子，下圖介紹了當希望預測為1時對應的數據集判定邊界。下圖對應的判定邊界為一條直線，直線上方的數據判定為1，下方的數據判定為0。

下圖為一個復雜的判定邊界，邊界為半徑1的圓，圓內的判定為0，圓外側的判定為1，這已經有點SVM核函數的概念了，我們后面會介紹到。

4）Cost function

對于任何機器學習算法，我們都要學到它對應的代價函數，回想一下，線性回歸模型中，代價函數是所有模型誤差的平方和。但是我們在對邏輯函數定義代價函數時，要找到使得代價函數為凸函數的函數。這里直接給出結論，如圖所示，

5）Simplified cost function and gradient descent

我們來回顧一下我們之前定義的代價函數和成本函數。

我們的目標是使成本函數最小。

我們還是使用梯度下降法，但你會發現，邏輯回歸梯度下降法求得的公式和線性回歸函數的形式上一模一樣。但要注意的是，這里的預測函數是不一樣的，邏輯回歸里多了一個邏輯函數。因為它要求輸出值在0到1之間。

6）Multi-class classification:One-vs-all

我們前面介紹的都是二元分類，這里我們介紹多分類問題：

多分類問題，我們可以訓練多個分類器，預測每一個分類器的輸出值，以最大輸出值對應的分類為它的預測值。

7）參考資料：

資料為網易云課堂吳恩達老師的課件。

吳恩達機器學習 - 網易云課堂

總結

以上是生活随笔為你收集整理的机器学习笔记（五）：逻辑回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。