文章目錄

• • • (1). Sigmoid函數(shù)的由來——伯努利分布的衍生物
    • • • 1.1 為什么會有 sigmoid 函數(shù)的出現(xiàn)？
        • 1.2 sigmoid 函數(shù)推導(dǎo)過程
        • 1.3 sigmoid 函數(shù)求導(dǎo)
    • (2). 邏輯回歸（Logistic Regression）
    • • • 2.1 邏輯回歸算法的最終本質(zhì)——求決策邊界
        • 2.2 邏輯回歸算法中的重要組成部分

(1). Sigmoid函數(shù)的由來——伯努利分布的衍生物

1.1 為什么會有 sigmoid 函數(shù)的出現(xiàn)？

考慮一個事件X，其發(fā)生的概率為p，不發(fā)生的概率為1-p，如下表所示：

X01

發(fā)生概率	1 - p	p

通過上述事件我們能夠得到當(dāng)事件一定發(fā)生（x=1） 和 一定不發(fā)生（x=0） 的概率，但很多時候事件不一定是一個非0即1的事件，而是一個連續(xù)取值的事件。當(dāng)x的取值在（0，1）之間時，如x=0.5時，我們就無法判斷該事件是判定為發(fā)生還是不發(fā)生了。為此，我們期望找到連續(xù)變量 x 和發(fā)生概率 p 之間的對應(yīng)關(guān)系，使得每一個 $x$ 取值都有一個對應(yīng)的事件發(fā)生概率 $p$，根據(jù)發(fā)生概率 $p$ 來推測事件發(fā)生還是不發(fā)生。例如，當(dāng) $p=0.8$ 時判斷該事件發(fā)生，$p=0.2$ 時判斷該事件不發(fā)生。如何尋找這個對應(yīng)關(guān)系呢，sigmoid 函數(shù)的求解過程就是在尋找這個對應(yīng)關(guān)系，sigmoid 最終的求解形式就描述連續(xù)變量 $x$ 和發(fā)生概率 $p$ 關(guān)系：
$$p=\frac{1}{1+e^{?x}}$$

1.2 sigmoid 函數(shù)推導(dǎo)過程

由上一節(jié)中的表可以得到，$f(x)$ 分布函數(shù)可以寫成：

$$f(x)=\{\begin{array}{r}1?p;x=0\\ p;x=1\end{array}$$

進一步的我們可這個分段函數(shù)寫成一個函數(shù)：

$$f(x)=p^x?(1?p{)}^{1?x}$$

接著我們在這個式子上進行推導(dǎo)：

$$\begin{array}{rl}f(x)& =e^{ln{p}^x(1?p{)}^{1?x}}\\ & =e^{ln{p}^x+ln(1?p{)}^{1?x}}\\ & =e^{x?lnp+(1?x)?ln(1?p)}\\ & =e^{x[lnp?ln(1?p)]+ln(1?p)}\\ & =e^{x?ln\frac{p}{1?p}+ln(1?p)}\end{array}$$

我們找出跟 $x$ 變量相關(guān)的系數(shù) $ln\frac{p}{1?p}$，令其等于 $\eta$，反解 $\eta$:
$$\begin{array}{rl}\eta & =ln\frac{p}{1?p}\\ e^{\eta }& =\frac{p}{1?p}\\ p& =\frac{1}{1+e^{?\eta }}\end{array}$$

最后計算出的形式就是sigmoid函數(shù)的函數(shù)形式，將 $\eta$ 換成 $x$ 后就得到了連續(xù)變量 $x$ 和事件發(fā)生概率 $p$ 之間的函數(shù)關(guān)系（至于為什么可以把 $\eta$ 換成 $x$ 這里我想了很久也沒想通，如果有大佬希望可以指點下）。

1.3 sigmoid 函數(shù)求導(dǎo)

在邏輯回歸中，構(gòu)造函數(shù)選用的就是sigmoid函數(shù)。我們都知道在機器學(xué)習(xí)中會不斷通過求解梯度來進行函數(shù)的參數(shù)更新，那么sigmoid作為目標函數(shù)，不可避免的就會涉及到sigmoid的求導(dǎo)，sigmoid函數(shù)求導(dǎo)結(jié)果如下：

$$\begin{array}{rl}{f}^{\prime }(x)& =(\frac{1}{1+e^{?x}}{)}^{\prime }\\ & =\frac{e^{?x}}{(1+e^{?x}{)}^2}\\ & =\frac{1}{1+e^{?x}}?(1?\frac{1}{1+e^{?x}})\\ & =f(x)?(1?f(x))\end{array}$$

(2). 邏輯回歸（Logistic Regression）

2.1 邏輯回歸算法的最終本質(zhì)——求決策邊界

邏輯回歸中使用 sigmoid 函數(shù) $\frac{1}{1+e^{?w?x}}$ 來預(yù)測事件發(fā)生的概率，如下圖所示，當(dāng)縱坐標取值大于0.5時則判斷事件發(fā)生（y=1），當(dāng)縱坐標小于0.5時則判斷事件不發(fā)生（y=0）。

我們仔細觀察，整個式子 $y$ 的取0還是取1完全取決于 $w?x$ 的取值是>0還是<0，于是我們就可以通過判斷一個樣本點是在直線 $z=w?x$ 的上半邊還是下半邊來判斷 $y$ 的取值了。這樣一來，我們求解的最根本的問題就是求解一條直線 $z=w?x$，使得在直線一邊的數(shù)據(jù)點全為正樣本，另一邊的數(shù)據(jù)點全為負樣本。因此，邏輯回歸算法算法的本質(zhì)其實是去求解一個“邊界”，這個邊界不僅能夠保證數(shù)據(jù)分類的正確性，還能保證所有分類后的數(shù)據(jù)的 cost 值最小，如下圖所示（這和SVM的最小間隔距離非常相似）：

決策邊界由函數(shù)：$w?X=0$ 來確定，其中參數(shù) $w$是我們需要學(xué)習(xí)的參數(shù)，因此核心問題就成了求解邊界：
$$z=w?X=w_0+w_1?X_1+w_2?X_2+...$$

2.2 邏輯回歸算法中的重要組成部分

對于任何一個算法來說，通常都需要考慮的3個部分：

• 構(gòu)建基本函數(shù)（就是用來預(yù)測最終$y$值的函數(shù)）
• 構(gòu)建目標函數(shù)（目標函數(shù)=損失函數(shù) + 正則項）
• 構(gòu)建優(yōu)化方法（也叫優(yōu)化器optimizer）

邏輯回歸中的基本構(gòu)造函數(shù)

在邏輯回歸算法中，選用的基本函數(shù)就是sigmoid函數(shù) $h_{\theta }(x)=\frac{1}{1+e^{?x}}$，該函數(shù)用于預(yù)測輸入 $x$ 后標簽 $y$ 的概率，注意，這里的 $x$ 并非是數(shù)據(jù)集的原始數(shù)據(jù)輸入，而是乘以了參數(shù) $\theta$ 之后的值，即 $x=X?\theta$，因此邏輯回歸的基本函數(shù)為：
$$h_{\theta }(X)=\frac{1}{1+e^{?\theta X}}$$

邏輯回歸中的損失函數(shù)

邏輯回歸的損失函數(shù)為：

$$loss(y_i,y_i^{\prime })=?\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1?y^{(i)})log(1?h_{\theta }(x^{(i)})$$
其中，$h_{\theta }(X)=\frac{1}{1+e^{?\theta X}}$，這個式子可以從兩個思路推導(dǎo)出來：最大似然估計、交叉熵損失函數(shù)，下面分別從這兩個方面進行推導(dǎo)。

• 通過極大似然估計來解釋損失函數(shù)

首先我們需要知道極大似然估計是什么，舉個例子：假設(shè)取球事件為y，取到白球時y=1，概率為p，取到黑球時y=0，概率為1-p。由于是獨立事件，三次拿球兩黑一白的概率可以表示為：$P(y=0|p)P(y=0|p)P(y=1|p)=(1?p)(1?p)p=p^3?2p^2+p$。白球的極大似然估計就是求使得這個概率表達式最大的p值,對上式求導(dǎo)，求此一元二次方程的根得p=1/3或p=1，可知原式在[0, 1/3]區(qū)間單調(diào)遞增，在[1/3, 1]區(qū)間單調(diào)遞減。因此，在白球概率范圍[0.2，0.8]內(nèi)，當(dāng)p=1/3時表達式取得最大值，取得白球的概率的極大似然估計為1/3（例子引自這里）。通過這個例子可以看到，最大似然估計其實是在給定了若干個事實后（去了三次球兩黑一白），對事件發(fā)生的最大可能概率（取到白球的概率）進行估計。

那么在邏輯回歸中，假定每一個數(shù)據(jù)樣本相互獨立，則取了 $m$ 個樣本后，得到的似然函數(shù)為根據(jù)每一個數(shù)據(jù)樣本標簽計算出的概率值相乘：
$$\begin{gathered} L(\theta )=\prod _{i=1}^m{p}_i^{y_i}(1?p_i{)}^{1?y_i} \\ l(\theta )=\sum _{i=1}^{m}ln[p_i^{y_i}(1?p_i{)}^{1?y_i}] \end{gathered}$$
式子 $L(\theta )$ 就等于上面白球例子中的：$(1?p)(1?p)p$，$l(\theta )$是對原式求對數(shù)，把累成變?yōu)槔奂?#xff0c;這個式子也叫對數(shù)似然估計。我們現(xiàn)在假設(shè) $p$ 服從 $\frac{1}{1+e^{?\theta X}}$分布（其實真正的 $p$ 并不是等于這個式子的，因為 $\theta$ 參數(shù)是不準確的，是需要學(xué)習(xí)的），這樣一來，我們就有了損失函數(shù)：
$$\begin{array}{rl}loss(y_i,y_i^{\prime })& =?l(\theta )\\ & =?\sum _{i=1}^{m}ln[(\frac{1}{1+e^{?\theta x}}{)}^{y_i}(\frac{1}{1+e^{\theta x}}{)}^{1?y_i}]\\ & =?\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1?y^{(i)})log(1?h_{\theta }(x^{(i)})\end{array}$$

怎么理解這個式子呢？這樣想，我們按照服從 $\frac{1}{1+e^{?\theta X}}$的分布概率 $p^{\prime }$ 來進行估測的結(jié)果并不是真實標簽 $y_i$，而是有偏估計 $y_i^{\prime }$，因為我們的參數(shù) $\theta$ 是有偏的。而原本的極大似然估計的本質(zhì)是，在使用真實的分布概率 $p$ 去做預(yù)測時，是可以得到正確的預(yù)測標簽 $y_i$ 的。因此，使用有偏概率 $p^{\prime }$ 去做估計得到結(jié)果，就是有偏預(yù)測結(jié)果 $y^{\prime }$ 和真實標簽數(shù)據(jù) $y$ 之間的偏差值，也就是損失函數(shù)的結(jié)果。

• 通過交叉熵來解釋損失函數(shù)

損失函數(shù)的定義是：如果我們預(yù)測類型接近真實類型，則損失函數(shù)值非常小；如果預(yù)測類型偏離真是類型很多，則損失函數(shù)非常大。我們再列出最終的loss函數(shù)來看看：
$$loss(y_i,y_i^{\prime })=?\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1?y^{(i)})log(1?h_{\theta }(x^{(i)})$$

可以發(fā)現(xiàn)其實這個函數(shù)可以拆成兩個部分（圖片引自這里）：

分別代表當(dāng)樣本的真實標簽 $y=1$ 時，對應(yīng)的損失函數(shù)為：$?log(h_{\theta }(x))$，當(dāng)樣本的真實標簽 $y=0$ 時對應(yīng)的損失函數(shù)為： $?log(1?h_{\theta }(x))$。如下圖所示（圖片引自這里）：

這個圖非常直觀的表示了損失函數(shù)與預(yù)測準確度的關(guān)系，例如當(dāng)y = 1時，如果 $h_{\theta }(x)$ 的預(yù)測值越接近 1，則得到的損失函數(shù)值越小，若預(yù)測結(jié)果越接近 0，則得到的損失函數(shù)值越大。而從上面可以看出，不管是 $y=1$ 還是 $y=0$ 的情況，均使用 $?log$ 來進行損失函數(shù)的定義，為什么呢？這就涉及到香農(nóng)熵的問題了，香農(nóng)信息量用來度量不確定性的大小：一個事件的香農(nóng)信息量等于0，表示該事件的發(fā)生不會給我們提供任何新的信息，例如確定性的事件，發(fā)生的概率是1，發(fā)生了也不會引起任何驚訝；當(dāng)不可能事件發(fā)生時，香農(nóng)信息量為無窮大，這表示給我們提供了無窮多的新信息，并且使我們無限的驚訝，而 $?log$ 函數(shù)恰恰能很好的表達在 $x$ 取值接近 1 時函數(shù)值接近于 0，反之 $x$ 取值接近 0 時函數(shù)值接近于無窮大。

邏輯回歸中的優(yōu)化方法

使用 SGD 隨機梯度下降的方法來優(yōu)化參數(shù) $\theta$:

$${\theta }_j:={\theta }_j+\alpha ?loss(y_i,y_i^{\prime })$$

總結(jié)

以上是生活随笔為你收集整理的Sigmoid函数与逻辑回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。