机器学习笔记：CNN卷积神经网络
1，CNN概述
卷積神經網絡由輸入層、卷積層、池化層、全連接層和輸出層組成。
通過增加卷積層和池化層，可以得到更深層次的網絡。
與多層感知器相比，卷積神經網絡的參數更少，不容易發生過擬合。
2， 為何CNN更適合圖像問題
2.1 管中窺豹
看image的一小部分，就可以識別這個image了，不用看全
2.2 相同模式
同樣的pattern ，出現在image的不同地方，但是這些image表達的是同一個東西
2.3 降采樣
進行降采樣不會影響image的識別（就是說我行和列都等比例地取一部分）
2.4? CNN的解決之道
3 卷積
3.1 卷積層概述
在第一層卷積層對輸入樣本進行卷積操作后，就可以得到他的特征圖（一個卷積層用同一卷積核對每個輸入樣本進行卷積操作）【一般得到的特征圖尺寸小于原圖大小】
第二層及之后的卷積層把前一層的特征圖作為輸入數據，進行卷積操作。（每個位置對應元素乘積之和）
一個卷積層可能有多個卷積核，每個卷積核對應了一個特征圖。
共享權值（卷積核）帶來的直接好處是減少網絡各層之間的連接，同時又降低了過擬合的風險。
filter里面的值是可以被學出來的。某個位置，有幾個filter，就會有幾個matrix輸出。
對上圖，輸入的channel為3，那么卷積層的每一個filter也有3個channel（這里我們filter的維數為3*3*3），每次卷積的時候channel中27個元素和filter中的27個元素做運算。
3.2 stride 步長
我們可以手動設置stride步長
stride=1的時候：
?n-k表示input中的k*k可以向右移動最多幾個，再加上原始的1
3.3 卷積層和全連接神經網絡之間的聯系
卷積相當于一個連接稀疏的前饋神經網絡（基于視野的稀疏，只有此時filter看到的元素可以參與前向傳播）——減少參數量
每一個filter作用在每一個filter那么大的input矩陣上，權值是共享的——參數量更少了
3.4 理解in_channel和out_channel之間的聯系
以下圖的feature_map為例，輸入是7*7的圖像，其中每個位置不再是一個pixel，而是一個三維向量（即in_channel為3）
為了和in_channel對齊，所以我每一個CNN的filter需要有in_channel（3）個channel（在這里，每一個channel是一個3*3的卷積核?）
輸入的這3*3*3個點和卷積核的3*3*3個點相乘，得到輸出的一個點的值
輸出有out_channel(2)個，每個out_channel需要有一個3*3*3的卷積核
所以一個有in_channel（類似于"行數"）*out_channel（類似于"列數")個3*3的卷積核
也就是說，參數個數為in_channel*out_channel*kenel_height*kernel_width
3.4.1 CNN對于參數個數的增益
我們拿MLP做對比：
kernel size:K=3
input_channel:C_in=3
output_channel:C_oout=64
CNN需要的參數個數：K*K*C_in*C_out=1728
對于一張32*32的圖像，一個MLP需要 （32*32*3）*（32*32*64）=2,0132,6592個參數！
3.5 padding
使用padding，可以讓輸出和輸入尺寸一樣
3.5.1 zero-padding
3.5.2 mirror-padding?
3.5.3 duplicate padding
? ? 用最近的值來填充
3.6 dilation?
dilation 的作用是在不增加參數量數量級的情況下，指數級地提升感受野
3.7 卷積層輸出的大小
3.8 感受野 perceptive field
輸出的一個1*1的格子，可以包含輸入的k*k的信息
n-k+1=1——>n=k
與此同時，這一個1*1的格子，可以看到上上層(2k-1)*(2k-1)的信息
n-k+1=k——>n=2k-1
上上上層：
n-k+1=2k-1——>n=3k-2
3.8.1 感受野和分辨率
?在圖像識別問題的神經網絡中，很常見的操作是逐漸降低特征圖的分辨率。（這個可以由后面的池化操作實現）
?3.9?一維卷積??
4 池化層
n合一操作
經過卷積層的filter之后的輸出：
再經過max-pooling之后的結果：
有不同的池化方式，比較典型的有最大池化、平均池化
參數訓練也是采用誤差反向傳播的方法。誤差只會傳給池化時選定的單元（類似于前面的卷積，filter沒看到的部分是沒有連接的，這些元素的信息是不會前向傳播到后面的元素的；然后沒有被池化層選定的單元連接權重為0，這些元素的信息也是不會前向傳播到后面的元素的。所以只有被選中的元素的信息會傳遞，那么反向傳播更新參數的時候也只會把誤差傳遞給這幾個元素）
4.1 池化操作的輸出大小
和卷積操作一樣
5 flatten+全連接
6 CNN各參數對結果和性能的影響
6.1 卷積核大小
卷積核大小——不會對識別性能有很大的影響
6.2 卷積核數量
卷積核越多，識別越好
6.3 激活函數
Relu和maxout好于sigmoid和tanh
6.4 其他因素的影響
7 CNN應用：deep dream
把CNN一個層上的參數絕對值變大
這樣可以讓原來的特征被識別得更加“夸張”。
8 CNN用于 NLP問題中
一般都是一維卷積（時間維度）
?
9 總結
經過一個卷積層之后，image的深度只取決于這個卷積層的filter數目，和之前卷積層中filter的數目無關
總結
以上是生活随笔為你收集整理的机器学习笔记：CNN卷积神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： pytorch笔记：Dataloader
- 下一篇： 卷积神经网络补充—GoogleNet