雖然名字里有回歸，但實際上，邏輯回歸算法是一種分類算法。

文章目錄

• • 指數函數 exp(x)
  • S型函數 Sigmoid function
  • 對數函數 log(x)
  • 邏輯回歸
  • 邏輯回歸的代價函數

指數函數 exp(x)

現今指數函數通常特指以 $e$ 為底數的指數函數（即 $e^x$），為數學中重要的函數，也可寫作 $exp(x)$。這里的 $e$ 是數學常數，也就是自然對數函數的底數，近似值為 $2.718281828$，又稱為歐拉數。

• 作為實數變量 $x$ 的函數，$e^x$ 的圖像總是正的（在 $x$ 軸之上）并遞增（從左向右看），它不觸及 $x$ 軸，盡管它可以任意程度的靠近它。

• 函數特點是：$x>0$ 時 $y>1$，$x<0$ 時 $0<y<1$ 無限接近 0。

S型函數 Sigmoid function

S型函數(Sigmoid function)，又稱邏輯函數(Logistic function)，其圖形如下：

$$f(x)=\frac{1}{1+e^{?x}}$$

它將輸入的值 $x$ “擠壓” 到 $[0,1]$ 范圍內，很大的負數變成 0，很大的正數變成 1。歷史上，sigmoid 函數一度被用作激活函數。

對數函數 log(x)

由：

$$3^4=3\times 3\times 3\times 3=81$$

可以得出：

$$4={\log }_{3}81$$

用日常語言說，即以 3 為底 81 的對數是 4。

以 $e$ 為底的自然對數，記作 $\ln (x)$ 或 $lo{g}_e(x)$ ，其圖形為：

邏輯回歸

邏輯回歸的假設函數表達式：

$$h_{\theta }(x)=\frac{1}{1+e^{?{\theta }^{T}x}}$$

假設函數中：

• 如果 $h_{\theta }(x)\ge 0.5$ ，我們認為 $y=1$

• 如果 $h_{\theta }(x)<0.5$ ，我們認為 $y=0$

即：

• 當 ${\theta }^{T}x<0$ 時，$y=0$；

• 當 ${\theta }^{T}x\ge 0$ 時，$y=1$；

• 當 ${\theta }^{T}x=0$ 時，得到假設函數的 決策邊界 (decision boundary)。

邏輯回歸的代價函數

邏輯回歸的假設函數為非凸函數，直接代入會有多個局部最優值。因此，為了表現為凸函數，邏輯回歸的代價函數如下：

$$Cost(h_{\theta }(x),y)=?ylog(h_{\theta }(x))?(1?y)log(1?h_{\theta }(x))$$

對應的函數的圖形如下：

• 即，如果標簽是1，那么 $h_{\theta }(x)$ 越接近 0 代價越高：

  $$cost=?log(h_{\theta }(x))(y=1)$$

• 如果標簽是 0，那么 $h_{\theta }(x)$ 越接近 1 代價越高：

  $$cost=?log(1?h_{\theta }(x))(y=0)$$

總結

以上是生活随笔為你收集整理的逻辑回归 logistic regression的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。