作者 | Peter

編輯 |?AI有道

系列文章：

吳恩達(dá)《Machine Learning》精煉筆記 1：監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)

吳恩達(dá)《Machine Learning》精煉筆記 2：梯度下降與正規(guī)方程

吳恩達(dá)《Machine Learning》精煉筆記 3：回歸問題和正則化

吳恩達(dá)《Machine Learning》精煉筆記 4：神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

今天帶來第五周課程的筆記：神經(jīng)網(wǎng)絡(luò)。本文是在上節(jié)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，做了進(jìn)一步的闡述，內(nèi)容包含：

• 神經(jīng)網(wǎng)絡(luò)代價函數(shù)

• 反向傳播法及解釋

• 梯度檢驗(yàn)

• 神經(jīng)網(wǎng)絡(luò)的小結(jié)

神經(jīng)網(wǎng)絡(luò)代價函數(shù)

參數(shù)解釋

對幾個參數(shù)的標(biāo)記方法進(jìn)行說明解釋：

分類討論

主要是兩類：二分類和多類分類

代價函數(shù)

邏輯斯蒂回歸（LR）中的代價函數(shù)：

在邏輯斯蒂回歸中，只有一個輸出變量稱之為標(biāo)量scalar。

但是在神經(jīng)網(wǎng)絡(luò)中會有多個輸出變量，hθ(x)是一個K維的向量。

假設(shè)第i個輸出函數(shù)：

代價函數(shù)J表示為：

解釋說明：

反向傳播法Backpropagation Algorithm

• 首先計算最后一層的誤差

• 再一層層地反向求出各層的誤差，直到倒數(shù)第二層

前向傳播例子

假設(shè)有一個數(shù)據(jù)樣本:

前向傳播法就是通過一層層地按照神經(jīng)網(wǎng)絡(luò)的順序從輸入層到輸出層計算下去。

反向傳播例子

1. 從最后一層的誤差開始計算:

2. 用δ表示誤差，誤差=模型預(yù)測值-真實(shí)值

3. 前一層的誤差

4. 再前一層的誤差

第一層是輸入變量，不存在誤差

5. 假設(shè)λ=0，如果不做正則化處理時

對上面的式子中各個上下標(biāo)的含義進(jìn)行解釋：

• l代表的是第幾層

• j代表的是計算層中的激活單元的下標(biāo)

• i代表的是誤差單元的下標(biāo)

算法

• 利用正向傳播方法計算每層的激活單元

• 利用訓(xùn)練集的真實(shí)結(jié)果與神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果求出最后一層的誤差

• 最后利用該誤差運(yùn)用反向傳播法計算出直至第二層的所有誤差。

• 便可以計算代價函數(shù)的偏導(dǎo)數(shù)

反向傳播的直觀理解

前向傳播原理

• 2個輸入單元；2個隱藏層（不包含偏置單元）；1個輸出單元

• 上標(biāo)ii表示的是第幾層，下標(biāo)表示的是第幾個特征或者說屬性

圖中有個小問題，看截圖的右下角！！！

根據(jù)上面的反向傳播法得到的結(jié)論：

反向傳播原理

參數(shù)展開

上面的式子中實(shí)現(xiàn)了怎么利用反向傳播法計算代價函數(shù)的導(dǎo)數(shù)，在這里介紹怎么將參數(shù)從矩陣形式展開成向量形式

梯度檢驗(yàn)

如何求解在某點(diǎn)的導(dǎo)數(shù)

在代價函數(shù)中怎么對某個參數(shù)θ求導(dǎo)

神經(jīng)網(wǎng)絡(luò)小結(jié)

首要工作

在構(gòu)建神經(jīng)網(wǎng)絡(luò)的時候，首先考慮的是如何選擇網(wǎng)絡(luò)結(jié)構(gòu)：多少層和每層多少個神經(jīng)單元

• 第一層的單元數(shù)即我們訓(xùn)練集的特征數(shù)量。

• 最后一層的單元數(shù)是我們訓(xùn)練集的結(jié)果的類的數(shù)量。

• 如果隱藏層數(shù)大于1，確保每個隱藏層的單元個數(shù)相同，通常情況下隱藏層單元的個數(shù)越多越好。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)步驟

參數(shù)的隨機(jī)初始化

利用正向傳播方法計算所有的hθ(x)

編寫計算代價函數(shù)?JJ的代碼

利用反向傳播方法計算所有偏導(dǎo)數(shù)

利用數(shù)值檢驗(yàn)方法檢驗(yàn)這些偏導(dǎo)數(shù)

使用優(yōu)化算法來最小化代價函數(shù)

至此，第五周的課程筆記完畢！

---

推薦閱讀

（點(diǎn)擊標(biāo)題可跳轉(zhuǎn)閱讀）

干貨 | 公眾號歷史文章精選

我的深度學(xué)習(xí)入門路線

我的機(jī)器學(xué)習(xí)入門路線圖

重磅！

AI有道年度技術(shù)文章電子版PDF來啦！

掃描下方二維碼，添加?AI有道小助手微信，可申請入群，并獲得2020完整技術(shù)文章合集PDF（一定要備注：入群?+ 地點(diǎn) + 學(xué)校/公司。例如：入群+上海+復(fù)旦。?

長按掃碼，申請入群

（添加人數(shù)較多，請耐心等待）

感謝你的分享，點(diǎn)贊，在看三連↓

總結(jié)

以上是生活随笔為你收集整理的吴恩达《Machine Learning》精炼笔记 5：神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。