---

←上一篇↓↑下一篇→

2.9 Logistic 回歸的梯度下降法	回到目錄	2.11 向量化

---

$m$ 個樣本的梯度下降 (Gradient Descent on $m$ example)

在之前的視頻中,你已經看到如何計算導數，以及應用梯度下降在邏輯回歸的一個訓練樣本上。現在我們想要把它應用在 $m$ 個訓練樣本上。

首先，讓我們時刻記住有關于損失函數 $J(w,b)$ 的定義。

$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L(a^{(i)},y^{(i)})$$

當你的算法輸出關于樣本 $y$ 的 $a^{(i)}$ ， $a^{(i)}$ 是訓練樣本的預測值，即： $\sigma (z^{(i)})=\sigma (w^T{x}^{(i)}+b)$ 。 所以我們在前面的幻燈中展示的是對于任意單個訓練樣本，如何計算微分當你只有一個訓練樣本。因此， $d{w}_1,d{w}_2$ 和 $db$ 添上上標 $i$ 表示你求得的相應的值。如果你面對的是我們在之前的幻燈中演示的那種情況，但只使用了一個訓練樣本 $(x^{(i)},y^{(i)})$ 。 現在你知道帶有求和的全局代價函數，實際上是1到 $m$ 項各個損失的平均。 所以它表明全局代價函數對 $w_1$ 的微分，對 $w_1$ 的微分也同樣是各項損失對 $w_1$ 微分的平均。

但之前我們已經演示了如何計算這項，即之前幻燈中演示的如何對單個訓練樣本進行計算。所以你真正需要做的是計算這些微分，如我們在之前的訓練樣本上做的。并且求平均，這會給你全局梯度值，你能夠把它直接應用到梯度下降算法中。

所以這里有很多細節，但讓我們把這些裝進一個具體的算法。同時你需要一起應用的就是邏輯回歸和梯度下降。

我們初始化

$$J=0,d{w}_1=0,d{w}_2=0,db=0$$

代碼流程：

J=0;dw1=0;dw2=0;db=0; for i = 1 to mz(i) = wx(i)+b;a(i) = sigmoid(z(i));J += -[y(i)log(a(i))+(1-y(i)）log(1-a(i));dz(i) = a(i)-y(i);dw1 += x1(i)dz(i);dw2 += x2(i)dz(i);db += dz(i); J/= m; dw1/= m; dw2/= m; db/= m; w=w-alpha*dw b=b-alpha*db

幻燈片上只應用了一步梯度下降。因此你需要重復以上內容很多次，以應用多次梯度下降。看起來這些細節似乎很復雜，但目前不要擔心太多。希望你明白，當你繼續嘗試并應用這些在編程作業里，所有這些會變的更加清楚。

但這種計算中有兩個缺點，也就是說應用此方法在邏輯回歸上你需要編寫兩個for循環。第一個for循環是一個小循環遍歷 $m$ 個訓練樣本，第二個for循環是一個遍歷所有特征的for循環。這個例子中我們只有2個特征，所以 $n$ 等于2并且 $n_x$ 等于2。 但如果你有更多特征，你開始編寫你的因此 $d{w}_1$ ， $d{w}_2$ ，你有相似的計算從 $d{w}_3$ 一直下去到 $d{w}_n$ 。所以看來你需要一個for循環遍歷所有 $n$ 個特征。

當你應用深度學習算法，你會發現在代碼中顯式地使用for循環使你的算法很低效，同時在深度學習領域會有越來越大的數據集。所以能夠應用你的算法且沒有顯式的for循環會是重要的，并且會幫助你適用于更大的數據集。所以這里有一些叫做向量化技術,它可以允許你的代碼擺脫這些顯式的for循環。

我想在先于深度學習的時代，也就是深度學習興起之前，向量化是很棒的。可以使你有時候加速你的運算，但有時候也未必能夠。但是在深度學習時代向量化，擺脫for循環已經變得相當重要。因為我們越來越多地訓練非常大的數據集，因此你真的需要你的代碼變得非常高效。所以在接下來的幾個視頻中，我們會談到向量化，以及如何應用向量化而連一個for循環都不使用。所以學習了這些，我希望你有關于如何應用邏輯回歸，或是用于邏輯回歸的梯度下降，事情會變得更加清晰。當你進行編程練習，但在真正做編程練習之前讓我們先談談向量化。然后你可以應用全部這些東西，應用一個梯度下降的迭代而不使用任何for循環。

課程PPT

---

←上一篇↓↑下一篇→

2.9 Logistic 回歸的梯度下降法	回到目錄	2.11 向量化

---

總結

以上是生活随笔為你收集整理的2.10 m 个样本的梯度下降-深度学习-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。