分類問題
我們嘗試預測的是結果是否屬于某一個類（例如正確或錯誤）
分類舉例

判斷一封電子郵件是否是垃圾郵件

判斷一次金融交易是否是欺詐

判斷一個腫瘤是惡性的還是良性的

考查二元分類問題
我們將因變量(dependent variable)可能屬于的兩個類分別稱為正向類（positive class）和負向類（negative class），我們分類器的輸出值要么是1要么是0，1表示正向類，0表示負向類。

引入一個新的模型：邏輯回歸模型
$$h_{\theta }(x)=g({\theta }^{T}X)$$
其中，X代表特征向量，g代表一個常用的邏輯函數(logistic function)：Sigmoid function，是一個常見的S型函數
sigmoid函數的公式
$$g(z)=\frac{1}{1+e^{?z}}$$

sigmoid函數圖形

圖片來源：維基百科

對模型的理解
$h_{\theta }(x)=g({\theta }^{T}X)$的作用是，對于給定的輸入變量，根據選擇的參數，計算輸出變量等于1的可能性（Estimated probality）用數學公式表達:
$$h_{\theta }(x)=P(y=1|x;\theta )$$
例如，對于給定的x，通過確定的參數計算得到$h_{\theta }(x)=0.7$，則表示y有70%的可能性
是1（正向類），相應地，有30%的可能性是0（負向類）。

代價函數
如何擬合邏輯回歸模型的參數$\theta$

邏輯回歸的代價函數為
$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$
其中
$$Cost(h_{\theta }(x^{}),y^{})=\{\begin{array}{ll}?log(h_{\theta }(x))& \text{if?y=1}\\ ?log(1?h_{\theta }(x))& \text{if?y=0}\end{array}$$

來源：吳恩達上課ppt
這樣構建的$Cost(h_{\theta }(x^{}),y^{})$函數的特點是：

當實際輸出y=1，并且$h_{\theta }(x)=1$時，誤差為0

當實際輸出y=1，但是$h_{\theta }(x)=1$時，誤差隨著$h_{\theta }(x)$變小而增大

當實際輸出y=0，并且$h_{\theta }(x)=0$時，誤差為0

當實際輸出y=0，但是$h_{\theta }(x)=0$時，誤差隨著$h_{\theta }(x)$變大而增大

來源：機器學習個人筆記完整版v5.4-A4打印版

代價函數$Cost(h_{\theta }(x^{}),y^{})$的簡化表達式，將分段函數寫成一個表達式
$$Cost(h_{\theta }(x^{}),y^{})=?y\times log(h_{\theta }(x))?(1?y)\times log(1?h_{\theta }(x))$$

由上面邏輯回歸的代價函數
$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$
代入得
邏輯回歸的代價函數為
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\left[?y^{(i)}\times log\left(h_{\theta }(x^{(i)})\right)?(1?y^{(i)})\times log\left(1?h_{\theta }(x^{(i)})\right)\right]$$

提出負號，即
$$J(\theta )=?\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\times log\left(h_{\theta }(x^{(i)})\right)+(1?y^{(i)})\times log\left(1?h_{\theta }(x^{(i)})\right)\right]$$

使用梯度下降法計算使得該代價函數最小的參數值
來源：吳恩達上課ppt

參考資料
吳恩達,Deep Learning
黃海廣,機器學習個人筆記完整版v5.4-A4打印版

總結

以上是生活随笔為你收集整理的吴恩达第三周逻辑回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。