---

←上一篇↓↑下一篇→

2.17 Jupyter/iPython 筆記本的快速指南	回到目錄	2.19 總結(jié)習(xí)題

---

Logistic 損失函數(shù)的解釋 ( Explanation of Logistic Regression Cost Function (Optional))

在前面的視頻中，我們已經(jīng)分析了邏輯回歸的損失函數(shù)表達(dá)式，在這節(jié)選修視頻中，我將給出一個簡潔的證明來說明邏輯回歸的損失函數(shù)為什么是這種形式。

回想一下，在邏輯回歸中，需要預(yù)測的結(jié)果 $\hat{y}$ ,可以表示為 $\hat{y}=\sigma (w^{T}x+b)$ ， $\sigma$ 是我們熟悉的 $S$ 型函數(shù) $\sigma (z)=\sigma (w^{T}x+b)=\frac{1}{1+e^{?z}}$ 。我們約定 $\hat{y}=p(y=1|x)$ ，即算法的輸出 $\hat{y}$ 是給定訓(xùn)練樣本 $x$ 條件下 $y$ 等于1的概率。換句話說，如果 $y=1$ ，在給定訓(xùn)練樣本 $x$ 條件下 $y=\hat{y}$ ；反過來說，如果 $y=0$ ，在給定訓(xùn)練樣本 $x$ 條件下 $y$ 等于1減去 $\hat{y}(y=1?\hat{y})$ ，因此，如果 $\hat{y}$ 代表 $y=1$ 的概率，那么 $1?\hat{y}$ 就是 $y=0$ 的概率。接下來，我們就來分析這兩個條件概率公式。

這兩個條件概率公式定義形式為 $p(y|x)$ 并且代表了 $y=0$ 或者 $y=1$ 這兩種情況，我們可以將這兩個公式合并成一個公式。需要指出的是我們討論的是二分類問題的損失函數(shù)，因此， $y$ 的取值只能是0或者1。上述的兩個條件概率公式可以合并成如下公式：

$$p(y|x)={\hat{y}}^y(1?\hat{y}{)}^{1?y}$$

接下來我會解釋為什么可以合并成這種形式的表達(dá)式： $(1?\hat{y})$ 的 $(1?y)$ 次方這行表達(dá)式包含了上面的兩個條件概率公式，我來解釋一下為什么。

第一種情況，假設(shè) $y=1$ ，由于 $y=1$ ，那么 $(\hat{y}{)}^y=\hat{y}$ ，因為 $\hat{y}$ 的1次方等于 $\hat{y}$ ， $1?(1?\hat{y}{)}^{(1?y)}$ 的指數(shù)項 $(1?y)$ 等于0，由于任何數(shù)的0次方都是1， $\hat{y}$ 乘以1等于 $\hat{y}$ 。因此當(dāng) $y=1$ 時 $p(y|x)=\hat{y}$ （圖中綠色部分）。

第二種情況，當(dāng) $y=0$ 時 $p(y|x)$ 等于多少呢? 假設(shè) $y=0$ ， $\hat{y}$ 的 $y$ 次方就是 $\hat{y}$ 的0次方，任何數(shù)的0次方都等于1，因此 $p(y|x)=1?(1?\hat{y}{)}^{1?y}$ ，前面假設(shè) $y=0$ 因此 $(1?y)$ 就等于1，因此 $p(y|x)=1?(1?\hat{y})$ 。因此在這里當(dāng) $y=0$ 時， $p(y|x)=1?\hat{y}$ 。這就是這個公式(第二個公式，圖中紫色字體部分)的結(jié)果。

因此，剛才的推導(dǎo)表明 $p(y|x)={\hat{y}}^{(y)}(1?\hat{y}{)}^{(1?y)}$ ，就是 $p(y|x)$ 的完整定義。由于 $\log$ 函數(shù)是嚴(yán)格單調(diào)遞增的函數(shù)，最大化 $\log (p(y|x))$ 等價于最大化 $p(y|x)$ 并且地計算 $p(y|x)$ 的 $\log$ 對數(shù)，就是計算 $\log ({\hat{y}}^{(y)}(1?\hat{y}{)}^{(1?y)})$ (其實就是將 $p(y|x)$ 代入)，通過對數(shù)函數(shù)化簡為：

$$y\log \hat{y}+(1?y)\log (1?\hat{y})$$

而這就是我們前面提到的損失函數(shù)的負(fù)數(shù) $(?L(\hat{y},y))$ ，前面有一個負(fù)號的原因是當(dāng)你訓(xùn)練學(xué)習(xí)算法時需要算法輸出值的概率是最大的（以最大的概率預(yù)測這個值），然而在邏輯回歸中我們需要最小化損失函數(shù)，因此最小化損失函數(shù)與最大化條件概率的對數(shù) $\log (p(y|x))$ 關(guān)聯(lián)起來了，因此這就是單個訓(xùn)練樣本的損失函數(shù)表達(dá)式。

在 $m$ 個訓(xùn)練樣本的整個訓(xùn)練集中又該如何表示呢，讓我們一起來探討一下。

讓我們一起來探討一下，整個訓(xùn)練集中標(biāo)簽的概率，更正式地來寫一下。假設(shè)所有的訓(xùn)練樣本服從同一分布且相互獨(dú)立，也即獨(dú)立同分布的，所有這些樣本的聯(lián)合概率就是每個樣本概率的乘積:

$$P(labelsintrainingset)=\prod _{i=1}^{m}P(y^{(i)}|x^{(x)})。$$

如果你想做最大似然估計，需要尋找一組參數(shù)，使得給定樣本的觀測值概率最大，但令這個概率最大化等價于令其對數(shù)最大化，在等式兩邊取對數(shù)：

$$P(labelsintrainingset)=\log \prod _{i=1}^{m}P(y^{(i)}|x^{(x)})=\sum _{i=1}^m\log P(y^{(i)}|x^{(i)})=\sum _{i=1}^m?L({\hat{y}}^{(i)},y^{(i)})$$

在統(tǒng)計學(xué)里面，有一個方法叫做最大似然估計，即求出一組參數(shù)，使這個式子取最大值，也就是說，使得這個式子取最大值， ${\sum }_{i=1}^m?L({\hat{y}}^{(i)},y^{(i)})$ ，可以將負(fù)號移到求和符號的外面， $?{\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$ ，這樣我們就推導(dǎo)出了前面給出的logistic回歸的成本函數(shù) $J(w,b)={\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$ 。

由于訓(xùn)練模型時，目標(biāo)是讓成本函數(shù)最小化，所以我們不是直接用最大似然概率，要去掉這里的負(fù)號，最后為了方便，可以對成本函數(shù)進(jìn)行適當(dāng)?shù)目s放，我們就在前面加一個額外的常數(shù)因子 $\frac{1}{m}$ ，即:

$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})。$$

總結(jié)一下，為了最小化成本函數(shù) $J(w,b)$ ，我們從logistic回歸模型的最大似然估計的角度出發(fā)，假設(shè)訓(xùn)練集中的樣本都是獨(dú)立同分布的條件下。盡管這節(jié)課是選修性質(zhì)的，但還是感謝觀看本節(jié)視頻。我希望通過本節(jié)課您能更好地明白邏輯回歸的損失函數(shù)，為什么是那種形式，明白了損失函數(shù)的原理，希望您能繼續(xù)完成課后的練習(xí)，前面課程的練習(xí)以及本周的測驗，在課后的小測驗和編程練習(xí)中，祝您好運(yùn)。

課程PPT

---

←上一篇↓↑下一篇→

2.17 Jupyter/iPython 筆記本的快速指南	回到目錄	2.19 總結(jié)習(xí)題

---

總結(jié)

以上是生活随笔為你收集整理的2.18 Logistic 损失函数的解释-深度学习-Stanford吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。