三種典型神經網絡

standard NN :
傳統神經網絡 解決一般問題

卷積神經網絡 convolutional NN :
CNN 網絡 適用于圖像

循環神經網絡 Recurrent NN
適用于一維時間序列

監督學習的數據

結構化數據
非結構數據

數據量對傳統機器學習和深度學習的驅動力

lost函數和cost函數

cost函數是loss函數在全體樣本上的一種集中體現
比如平均損失。

反向傳播 更新參數

如果中間有倒數趨近于0 這個更新公式就很困難了

第二周課程總結

神經元節點計算對象：線性函數和激活函數

第三周課程

神經網絡就是單個的神經元的組合連接

神經網絡層的表示

第一層：輸入層 input layer
中間層：隱藏層 hidden layer
最后一層： 輸出層 output layer
每一層的數量是隨意自由的，中間層可以有很多層
中間層w一般是矩陣，b是向量

激活函數

不同層的激活函數可以不一樣
激活函數種類 ：
sigmoid函數
tanh函數
這兩個函數的確定是當z的值很大或者很小，其梯度會很小

可以求導看以下，也可以看函數圖像得知。

rule激活函數

隱藏層比較適合使用relu函數和tanh函數作為激活函數
sigmoid函數盡量只用在二分類問題的輸出層
帶泄露的激活函數也可以嘗試

為什么要用非線性激活函數

不使用非線性函數，則輸出到輸入的映射變成了線性映射
激活函數實現了非線性映射

激活函數的導數

sigmoid函數的導數
這個推到對于程序很有用 a(1-a)就是導數值

tanh函數的導數

relu函數和leaf rule的導數：

神經網絡的梯度下降法

關于上面dz = A - Y的表示

看上面的求導公式

初始化問題注意

不能把參數全部初始化相同，用隨機函數初始化

第三周總結

神經網絡步驟
第一：正向計算輸出
第二：計算誤差代價
第三：最小化代價 求得參數變化的方向
第四：更新參數
第五：循環一到四，四個步驟

第四周

深度神經網絡的核矩陣

深度神經網絡架構

當有m個樣本時，把1換成m就可以了

為什么要用深度網絡

可以讓每一層干盡量簡單的事情
最后完成一件復雜的事情

較深的網絡能力可以替代較淺的但是很多節點的網絡

深度神經網絡前饋和后饋的形象表示

前饋網絡和后饋網絡的實現

什么是超參數

w b是神經網絡的固有參數，自己調整
但是學習率 迭代次數 隱藏層等就是屬于超參數
超參數在某種程度上決定了參數的值

總結

以上是生活随笔為你收集整理的吴恩达深度学习一：神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。