---

←上一篇↓↑下一篇→

2.19 總結(jié)習(xí)題	回到目錄	3.2 神經(jīng)網(wǎng)絡(luò)表示

---

神經(jīng)網(wǎng)絡(luò)概覽 (Neural Networks Overview)

本周你將學(xué)習(xí)如何實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)。在我們深入學(xué)習(xí)具體技術(shù)之前，我希望快速的帶你預(yù)覽一下本周你將會(huì)學(xué)到的東西。如果這個(gè)視頻中的某些細(xì)節(jié)你沒(méi)有看懂你也不用擔(dān)心，我們將在后面的幾個(gè)視頻中深入討論技術(shù)細(xì)節(jié)。

現(xiàn)在我們開(kāi)始快速瀏覽一下如何實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。上周我們討論了邏輯回歸，我們了解了這個(gè)模型如何與下面公式建立聯(lián)系。

$$\begin{array}{c}x\\ w\\ b\end{array}?\to z=w^{T}x+b$$

如上所示，首先你需要輸入特征 $x$ ，參數(shù) $w$ 和 $b$ ，通過(guò)這些你就可以計(jì)算出 $z$ ，

$$\begin{gathered} \begin{array}{c}x\\ w\\ b\end{array}?\to z=w^{T}x+b\to a=\sigma (z) \\ \to L(a,y) \end{gathered}$$

接下來(lái)使用就可以計(jì)算出 $a$ 。我們將的符號(hào)換為表示輸出 $\hat{y}\to a=\sigma (z)$ ,然后可以計(jì)算出loss function $L(a,y)$

神經(jīng)網(wǎng)絡(luò)看起來(lái)是如下這個(gè)樣子。正如我之前已經(jīng)提到過(guò)，你可以把許多sigmoid單元堆疊起來(lái)形成一個(gè)神經(jīng)網(wǎng)絡(luò)。對(duì)于圖3.1.1中的節(jié)點(diǎn)，它包含了之前講的計(jì)算的兩個(gè)步驟：首先通過(guò)公式3.1計(jì)算出值 $z$ ，然后通過(guò) $\sigma (z)$ 計(jì)算值 $a$ 。

在這個(gè)神經(jīng)網(wǎng)絡(luò)（圖3.1.2）對(duì)應(yīng)的3個(gè)節(jié)點(diǎn)，首先計(jì)算第一層網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)相關(guān)的數(shù) $z^{[1]}$ ，接著計(jì)算 $a^{[1]}$ ，在計(jì)算下一層網(wǎng)絡(luò)同理； 我們會(huì)使用符號(hào) ${}^{[m]}$ 表示第 $m$ 層網(wǎng)絡(luò)中節(jié)點(diǎn)相關(guān)的數(shù)，這些節(jié)點(diǎn)的集合被稱(chēng)為第 $m$ 層網(wǎng)絡(luò)。這樣可以保證 ${}^{[m]}$ 不會(huì)和我們之前用來(lái)表示單個(gè)的訓(xùn)練樣本的 ${}^{(i)}$ (即我們使用表示第 $i$ 個(gè)訓(xùn)練樣本)混淆； 整個(gè)計(jì)算過(guò)程，公式如下: 公式3.3：

$$\begin{array}{c}x\\ W^{[1]}\\ b^{[1]}\end{array}?\to z^{[1]}=W^{[1]}x+b^{[1]}\to a^{[1]}=\sigma (z^{[1]})$$

公式3.4：

$$\begin{gathered} \begin{array}{c}{a}^{[1]}=\sigma (z^{[1]})\\ W^{[2]}\\ b^{[2]}\end{array}?\to z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}\to a^{[2]}=\sigma (z^{[2]}) \\ \to L(a^{[2]},y) \end{gathered}$$

類(lèi)似邏輯回歸，在計(jì)算后需要使用計(jì)算，接下來(lái)你需要使用另外一個(gè)線(xiàn)性方程對(duì)應(yīng)的參數(shù)計(jì)算 $z^{[2]}$ ， 計(jì)算 $a^{[2]}$ ，此時(shí) $a^{[2]}$ 就是整個(gè)神經(jīng)網(wǎng)絡(luò)最終的輸出，用 $\hat{y}$ 表示網(wǎng)絡(luò)的輸出。

公式3.5：

$$\begin{gathered} \begin{array}{c}d{a}^{[1]}=d\sigma (z^{[1]})\\ d{W}^{[2]}\\ d{b}^{[2]}\end{array}?\to d{z}^{[2]}=d(W^{[2]}{a}^{[1]}+b^{[2]})\to d{a}^{[2]}=d\sigma (z^{[2]}) \\ \to dL(a^{[2]},y) \end{gathered}$$

我知道這其中有很多細(xì)節(jié)，其中有一點(diǎn)非常難以理解，即在邏輯回歸中，通過(guò)直接計(jì)算 $z$ 得到結(jié)果 $a$ 。而這個(gè)神經(jīng)網(wǎng)絡(luò)中，我們反復(fù)的計(jì)算 $z$ 和 $a$ ，計(jì)算 $a$ 和 $z$ ，最后得到了最終的輸出loss function。

你應(yīng)該記得邏輯回歸中，有一些從后向前的計(jì)算用來(lái)計(jì)算導(dǎo)數(shù) $da、dz$ 。同樣，在神經(jīng)網(wǎng)絡(luò)中我們也有從后向前的計(jì)算，看起來(lái)就像這樣，最后會(huì)計(jì)算 $d{a}^{[2]}、d{z}^{[2]}$ ，計(jì)算出來(lái)之后，然后計(jì)算 $d{W}^{[2]}、d{b}^{[2]}$ 等，按公式3.4、3.5箭頭表示的那樣，從右到左反向計(jì)算。

現(xiàn)在你大概了解了一下什么是神經(jīng)網(wǎng)絡(luò)，基于邏輯回歸重復(fù)使用了兩次該模型得到上述例子的神經(jīng)網(wǎng)絡(luò)。我清楚這里面多了很多新符號(hào)和細(xì)節(jié)，如果沒(méi)有理解也不用擔(dān)心，在接下來(lái)的視頻中我們會(huì)仔細(xì)討論具體細(xì)節(jié)。

那么，下一個(gè)視頻講述神經(jīng)網(wǎng)絡(luò)的表示。

課程PPT

---

←上一篇↓↑下一篇→

2.19 總結(jié)習(xí)題	回到目錄	3.2 神經(jīng)網(wǎng)絡(luò)表示

---

總結(jié)

以上是生活随笔為你收集整理的3.1 神经网络概览-深度学习-Stanford吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。