目錄

1）Cost function

2）Backpropagation algorithm

3）Backpropagation intuition

4)? Gradient checking

5）Random initialization

6）Putting it together

---

注：吳恩達(dá)老師的機(jī)器學(xué)習(xí)課程對(duì)反向傳播算法介紹的不夠深入，如果想詳細(xì)了解的話建議看吳恩達(dá)老師的深度學(xué)習(xí)課程。

1）Cost function

回顧一下我們之前介紹的神經(jīng)網(wǎng)絡(luò)，二分類(lèi)和多分類(lèi)應(yīng)用：

參數(shù)：

我們參照邏輯回歸函數(shù)來(lái)給出神經(jīng)網(wǎng)絡(luò)的代價(jià)函數(shù)：

• 對(duì)于每一行特征，我們都會(huì)預(yù)測(cè) K 個(gè)結(jié)果，然后從 K 個(gè)結(jié)果中選取概率最大的那個(gè)。
• 最里層 j 循環(huán)所有行（由 sl+1 層的神經(jīng)單元數(shù)決定），i 循環(huán)所有的列（由 sl 層）的激活單元數(shù)決定。

2）Backpropagation algorithm

我們來(lái)看看我們的梯度計(jì)算公式：

在進(jìn)行反向傳播計(jì)算之前，我們來(lái)看看我們介紹過(guò)的前向傳播：

反向傳播計(jì)算：這一部分建議看看吳恩達(dá)老師的深度學(xué)習(xí)課程，里面詳細(xì)介紹了反向傳播算法。

最后我們得出了反向傳播算法，主要還是偏導(dǎo)數(shù)的計(jì)算：

3）Backpropagation intuition

4) Gradient checking

我們使用數(shù)值梯度校驗(yàn)：

5）Random initialization

這里注意的是所有的參數(shù)不能全為0：

6）Putting it together

下面介紹的使用神經(jīng)網(wǎng)絡(luò)的步驟：

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（八）：神经网络：学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。