深層神經網絡

那么什么算是深度神經網絡呢？

如圖所示，我們說邏輯回歸是一個淺層模型，單隱層神經網絡是一個雙層神經網絡，注意我們數網絡層數的時候一定不要把輸入層數進去，只是數隱藏層的數量，以及輸出層。

我們約定，輸入層用

x=a[0]x=a[0]
表示，輸出層，用

y^=a[L]y^=a[L]
表示。

深層神經網絡中的前向傳播

如何在深度學習中正確運用正向傳播和反向傳播呢？

我們先看一個訓練樣本x的情況，之后我們再向量化到全體樣本。

如圖所示，這是正向傳播的整個過程，左邊是按照單個樣本，右邊是整個進行向量化表示，你會發現，這個和單層神經網絡十分相似，只是多重復了幾遍，事實也的確如此。

核對矩陣維數

對于深層網絡而言，涉及到的運算較多，如果不注意矩陣的維數，稍有不慎就可能出錯，下面說一下如何避免這個問題。

如圖所示，這是單個訓練樣本下的矩陣維數表示。w雖然不太好推出來，但是我們知道了z和x，所以根據z和x的矩陣維數，就可以得出w矩陣維數的情況。dw和db與w和b的矩陣維數是保持一致的。

如圖所示，這是矩陣形式的表示方式。這里我們不再是一個樣本，而變成了m個樣本。需要注意的是，圖中的左下角的對每個樣本進行計算的時候，仍然應當是(n[1],1)(n[1],1)的形式，但這里使用廣播復制了m份，使得Z具有m列保持一致。

對于右側的X我們可以看到，一個樣本的維度是(n0,1)(n0,1)，具有m個樣本，所以是m列，因此維度變為(n0,m)(n0,m)

總結

以上是生活随笔為你收集整理的深层神经网络中的前向传播的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。