---

←上一篇↓↑下一篇→

2.13 向量化 Logistic 回歸	回到目錄	2.15 Python 中的廣播

---

向量化 Logistic 回歸的梯度輸出 (Vectorizing Logistic Regression’s Gradient Computation)

注：本節(jié)中大寫字母代表向量，小寫字母代表元素

如何向量化計算的同時，對整個訓練集預測結果 $a$ ，這是我們之前已經(jīng)討論過的內(nèi)容。在本次視頻中我們將學習如何向量化地計算 $m$ 個訓練數(shù)據(jù)的梯度，本次視頻的重點是如何同時計算 $m$ 個數(shù)據(jù)的梯度，并且實現(xiàn)一個非常高效的邏輯回歸算法(Logistic Regression)。

之前我們在講梯度計算的時候，列舉過幾個例子， $d{z}^{(1)}=a^{(1)}?y^{(1)}$ ， $d{z}^{(2)}=a^{(2)}?y^{(2)}$ ……等等一系列類似公式。現(xiàn)在，對 $m$ 個訓練數(shù)據(jù)做同樣的運算，我們可以定義一個新的變量 $dZ=[d{z}^{(1)},d{z}^{(2)},?,d{z}^{(m)}]$ ，所有的 $dz$ 變量橫向排列，因此， $dZ$ 是一個 $1?m$ 的矩陣，或者說，一個 $m$ 維行向量。在之前的幻燈片中，我們已經(jīng)知道如何計算 $A$ ，即 $[a^{(1)},a^{(2)},?,a^{(m)}]$,我們需要找到這樣的一個行向量 $Y=[y^{(1)},y^{(2)},?,y^{(m)}]$ ，由此，我們可以這樣計算 $dZ=A?Y=[a^{(1)}?y^{(1)},a^{(2)}?y^{(2)},?,a^{(m)}?y^{(m)}]$ ，不難發(fā)現(xiàn)第一個元素就是 $d{z}^{(1)}$ ，第二個元素就是 $d{z}^{(2)}$ ……所以我們現(xiàn)在僅需一行代碼，就可以同時完成這所有的計算。

在之前的實現(xiàn)中，我們已經(jīng)去掉了一個for循環(huán)，但我們?nèi)杂幸粋€遍歷訓練集的循環(huán)，如下所示：

$$dw=0$$$$dw+=x^{(1)}?d{z}^{(1)}$$$$dw+=x^{(2)}?d{z}^{(2)}$$$$?$$$$dw+=x^{(m)}?d{z}^{(m)}$$$$dw=\frac{dw}{m}$$$$db=0$$$$db+=d{z}^{(1)}$$$$db+=d{z}^{(2)}$$$$?$$$$db+=d{z}^{(m)}$$$$db+=\frac{db}{m}$$

上述（偽）代碼就是我們在之前實現(xiàn)中做的，我們已經(jīng)去掉了一個for循環(huán)，但用上述方法計算 $dw$ 仍然需要一個循環(huán)遍歷訓練集，我們現(xiàn)在要做的就是將其向量化！

首先我們來看 $db$ ，不難發(fā)現(xiàn) $db=\frac{1}{m}{\sum }_{i=1}^{m}d{z}^{(i)}$ ， 之前的講解中，我們知道所有的 $d{z}^{(i)}$ 已經(jīng)組成一個行向量 $dZ$ 了，所以在Python中，我們很容易地想到 $db=\frac{1}{m}?np.sum(dZ)$ ；接下來看 $dw$ ，我們先寫出它的公式 $dw=\frac{1}{m}?X?d{z}^T$ 其中， $X$ 是一個行向量。因此展開后 $dw=\frac{1}{m}?(x^{(1)}d{z}^{(1)}+x^{(2)}d{z}^{(2)}+?+x^{(m)}d{z}^{(m)})$ 。因此我們可以僅用兩行代碼進行計算： $db=\frac{1}{m}?np.sum(dZ)$ ， $dw=\frac{1}{m}?X?d{z}^T$ 。這樣，我們就避免了在訓練集上使用for循環(huán)。

現(xiàn)在，讓我們回顧一下，看看我們之前怎么實現(xiàn)的邏輯回歸，可以發(fā)現(xiàn)，沒有向量化是非常低效的，如下圖所示代碼：

我們的目標是不使用for循環(huán)，而是向量，我們可以這么做：

$$Z=w^{T}X+b=np.dot(w.T,x)+b$$$$A=\sigma (Z)$$$$dZ=A?Y$$$$dw=\frac{1}{m}?X?d{z}^T$$$$db=\frac{1}{m}?np.sum(dZ)$$$$w:=w?\alpha ?dw$$$$b:=b?\alpha ?db$$

現(xiàn)在我們利用前五個公式完成了前向和后向傳播，也實現(xiàn)了對所有訓練樣本進行預測和求導，再利用后兩個公式，梯度下降更新參數(shù)。我們的目的是不使用for循環(huán)，所以我們就通過一次迭代實現(xiàn)一次梯度下降，但如果你希望多次迭代進行梯度下降，那么仍然需要for循環(huán)，放在最外層。不過我們還是覺得一次迭代就進行一次梯度下降，避免使用任何循環(huán)比較舒服一些。

最后，我們得到了一個高度向量化的、非常高效的邏輯回歸的梯度下降算法，我們將在下次視頻中討論Python中的Broadcasting技術。

課程PPT

---

←上一篇↓↑下一篇→

2.13 向量化 Logistic 回歸	回到目錄	2.15 Python 中的廣播

---

總結

以上是生活随笔為你收集整理的2.14 向量化 Logistic 回归的梯度输出-深度学习-Stanford吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。