三種典型神經(jīng)網(wǎng)絡(luò)

standard NN :
傳統(tǒng)神經(jīng)網(wǎng)絡(luò) 解決一般問題

卷積神經(jīng)網(wǎng)絡(luò) convolutional NN :
CNN 網(wǎng)絡(luò) 適用于圖像

循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent NN
適用于一維時間序列

監(jiān)督學(xué)習(xí)的數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)
非結(jié)構(gòu)數(shù)據(jù)

數(shù)據(jù)量對傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的驅(qū)動力

lost函數(shù)和cost函數(shù)

cost函數(shù)是loss函數(shù)在全體樣本上的一種集中體現(xiàn)
比如平均損失。

反向傳播 更新參數(shù)

如果中間有倒數(shù)趨近于0 這個更新公式就很困難了

第二周課程總結(jié)

神經(jīng)元節(jié)點(diǎn)計算對象：線性函數(shù)和激活函數(shù)

第三周課程

神經(jīng)網(wǎng)絡(luò)就是單個的神經(jīng)元的組合連接

神經(jīng)網(wǎng)絡(luò)層的表示

第一層：輸入層 input layer
中間層：隱藏層 hidden layer
最后一層： 輸出層 output layer
每一層的數(shù)量是隨意自由的，中間層可以有很多層
中間層w一般是矩陣，b是向量

激活函數(shù)

不同層的激活函數(shù)可以不一樣
激活函數(shù)種類 ：
sigmoid函數(shù)
tanh函數(shù)
這兩個函數(shù)的確定是當(dāng)z的值很大或者很小，其梯度會很小

可以求導(dǎo)看以下，也可以看函數(shù)圖像得知。

rule激活函數(shù)

隱藏層比較適合使用relu函數(shù)和tanh函數(shù)作為激活函數(shù)
sigmoid函數(shù)盡量只用在二分類問題的輸出層
帶泄露的激活函數(shù)也可以嘗試

為什么要用非線性激活函數(shù)

不使用非線性函數(shù)，則輸出到輸入的映射變成了線性映射
激活函數(shù)實現(xiàn)了非線性映射

激活函數(shù)的導(dǎo)數(shù)

sigmoid函數(shù)的導(dǎo)數(shù)
這個推到對于程序很有用 a(1-a)就是導(dǎo)數(shù)值

tanh函數(shù)的導(dǎo)數(shù)

relu函數(shù)和leaf rule的導(dǎo)數(shù)：

神經(jīng)網(wǎng)絡(luò)的梯度下降法

關(guān)于上面dz = A - Y的表示

看上面的求導(dǎo)公式

初始化問題注意

不能把參數(shù)全部初始化相同，用隨機(jī)函數(shù)初始化

第三周總結(jié)

神經(jīng)網(wǎng)絡(luò)步驟
第一：正向計算輸出
第二：計算誤差代價
第三：最小化代價 求得參數(shù)變化的方向
第四：更新參數(shù)
第五：循環(huán)一到四，四個步驟

第四周

深度神經(jīng)網(wǎng)絡(luò)的核矩陣

深度神經(jīng)網(wǎng)絡(luò)架構(gòu)

當(dāng)有m個樣本時，把1換成m就可以了

為什么要用深度網(wǎng)絡(luò)

可以讓每一層干盡量簡單的事情
最后完成一件復(fù)雜的事情

較深的網(wǎng)絡(luò)能力可以替代較淺的但是很多節(jié)點(diǎn)的網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)前饋和后饋的形象表示

前饋網(wǎng)絡(luò)和后饋網(wǎng)絡(luò)的實現(xiàn)

什么是超參數(shù)

w b是神經(jīng)網(wǎng)絡(luò)的固有參數(shù)，自己調(diào)整
但是學(xué)習(xí)率 迭代次數(shù) 隱藏層等就是屬于超參數(shù)
超參數(shù)在某種程度上決定了參數(shù)的值

總結(jié)

以上是生活随笔為你收集整理的吴恩达深度学习一：神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。