1. 卷積神經(jīng)網(wǎng)絡(luò) （卷積層，激活函數(shù)，池化層，全連接層）

??? (1)? 把神經(jīng)網(wǎng)絡(luò)的隱藏層分為卷積層和池化層(又叫下采樣層)

????????? · 卷積層 ：? 通過在原始圖像上平移來提取特征

?????????? ·? 池化層 ： 通過特征后稀疏參數(shù)來減少學(xué)習(xí)的參數(shù)，降低網(wǎng)絡(luò)的復(fù)雜度。

2. 卷積層：（定義過濾器）

???? (1)大小 （觀察窗口）、一般都是奇數(shù)(1*1、3*3、5*5)

???? (2)步長(zhǎng)（窗口移動(dòng)的步長(zhǎng)），每次移動(dòng)的像素大小，一般為一個(gè)像素

????????? 移動(dòng)的步長(zhǎng)太大，導(dǎo)致移動(dòng)越過圖片大小：

????????????? · 不越過，直接停止觀察

????????????? ·? 就直接越過，越過之后，進(jìn)行零填充，填充零的大小根據(jù)越過的大小進(jìn)行填充

????? (3)帶著權(quán)重 ，? 如果大小為3*3，即有9個(gè)權(quán)重

???? (4) 計(jì)算公式：??????????????????????????????????????????????????

?????? ? ? ? ? ? ? ? ? ? ?? ?

?????? (5)?? 卷積網(wǎng)絡(luò)的API:

?????????????

???????????? input :? 即：你輸入了【多少張圖片，圖片的長(zhǎng)，圖片的寬，圖片的通道數(shù)】，注意形狀是4-D

????????????? filter: 過濾器，【過濾器的長(zhǎng)，過濾器的寬，過濾器的輸入通道，過濾器的輸出通道】??????????????

3.新的激活函數(shù)-Relu??? （f(x) = max(0,u)）

???? （1） 增加激活函數(shù)： 增加網(wǎng)絡(luò)的非線性分割能力

?????? （2） 為什么不使用sigmoid等其他的激活函數(shù)，而采用Relu

???????????????? ·? 在反向傳播求誤差梯度時(shí)間，計(jì)算量相對(duì)大

????????????????? · 對(duì)于深層網(wǎng)絡(luò)，sigmoid函數(shù)反向傳播時(shí)，很容易就會(huì)出現(xiàn)梯度爆炸的情況。

?????? (3)? 把卷積后的值輸入到激活函數(shù)里面。

???????????

?4. 池化層? （池化Pooling計(jì)算）

? ? ??? （1）池化層主要的作用是特征提取(即刪掉一些特征)，通過去掉Feature Map(特征圖)中不重要的樣本，進(jìn)一步減少參數(shù)數(shù)量 ? ??

???????? (2)?? 池化層的計(jì)算，??? 按照2*2，2的步長(zhǎng)，取出最大的值

? ? ? ? ? ?? ?

????? （3） 池化層計(jì)算的API

?5. 全連接層? （Full Connected 層）?

???? 前面的卷積和池化相當(dāng)于做特征工程，后面的全連接層相當(dāng)于做特征加權(quán)。

????????????? 最后的全連接層在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中起到 “分類器” 的作用。

?

?

總結(jié)

以上是生活随笔為你收集整理的卷积神经网络(卷积层，激活函数Relu,池化层，计算公式及API解释)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。