目錄

1 邏輯回歸理論知識

邏輯回歸算法是干什么的？

邏輯回歸模型的假設函數：

決策邊界（decision boundary）

損失函數

為什么用這損失函數？

損失函數的求導：

2 代碼復現

---

1 邏輯回歸理論知識

邏輯回歸算法是干什么的？

答：（單變量）線性回歸算法是試圖找到一條直線去擬合數據，而邏輯回歸算法是試圖找到一根線，去分隔數據，是一種分類算法，如下圖：

邏輯回歸模型的假設函數：

1. 1. 其中，X代表特征向量，g代表邏輯函數，一個常用的邏輯函數是sigmoid函數。
2. 為什么要用個sigmoid函數？答：對于給定的輸入變量，函數要輸出一個分類的概率值，取值在0~1之間。

決策邊界（decision boundary）

損失函數

在線性回歸中，我們用誤差平方和作為損失函數，但是如果將下面這種假設函數帶入誤差平方和損失函數中，它會是一個非凸函數，即有很多局部最小值，會影響梯度下降尋找全局最小值。

線性回歸的損失函數是：

我們重新定義邏輯回歸損失函數為如下：

為什么用這損失函數？

• 要知道，y即分類標簽，其值要么是1要么是0，這就有：

• 公式中log就是ln()函數：

• h取值在0~1之間（因為是sigmoid的輸出），所以 h 和 Cost 關系圖如下：

損失函數的求導：

2 代碼復現

用numpy復現了文章開頭兩個案例圖的邏輯回歸，具體代碼在：

https://github.com/YM2025/machine_learning/tree/master/2_logistic_regression

總結

以上是生活随笔為你收集整理的监督学习：逻辑回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。