11- 深度学习之神经网络核心原理与算法-卷积核典型的CNN网络
典型的CNN網絡
VGG16
mark卷積核,池化層,卷積網絡使用的激勵函數。
目前市面上比較新的網絡,由于計算能力的提升變得越來越復雜。
不再出現典型的純粹的全連接網絡,卷積網絡的獨有特點,而是把他們進行了混搭。
16指其中有16個帶有參數的網絡層。
VGG16是一個完整的帶有卷積層池化層和全連接層的網絡。
VGG16是一個公開的模型,只描述數據進行處理的邏輯關系,與代碼和語言沒有關系。
一張圖片從左側進入模型,然后經過64個不同的(3,3)的卷積核,每次stride的步長是1.
生成64個小尺寸的圖片。或者說64個feature map。然后再把這64個圖片拼接在一起。
通過64個(3,3)的卷積核,生成后一層的feature map。然后經過maxpooling層來做池化。
最后這個maxpooling層的又被當做一張圖片向后輸入,通過128個(3,3)的卷積核進一步提取特征。
這個過程中卷積核的數量在逐步的上升,從64-128-256-512。每個卷積核提取過后的信息所占用空間也越來越小。這就是一個特征提取的過程。
還有一個一千個節點的softmax來做分類使用。分類中同樣是把損失函數描述成各個卷積核中w的函數,然后進行凸優化,找到極值點。
這個過程與BP網絡的訓練過程大同小異。
VGG19 含有19個有參數的網絡層。近年,越來越多的模型放入了多個卷積層,
能夠在模型深度增加的過程中加快收斂速度,并且可以讓網絡有更好的泛化特征。
AlexNet網絡結構
mark三個卷積層,兩個池化層,兩個全連接層,還有個1000個節點的softmax
GoogleNet
mark深度已經達到了22層。和以前眾多網絡不一樣的地方在于它里面引入了一個全新的結構叫做Inception(中文翻譯,盜夢空間)
mark前面輸入過來的向量在這一層展開成了三個不同卷積核處理的并列結構。
這樣可以在一定程度上加大下一層的輸入信息量。其中(3,3)(5,5)的卷積層可以大大增加抽象能力.
Inception的引入大大的增加了網絡的深度與寬度。使得網絡的信息容納能力變得更強。
使用inception結構的網絡,往往比沒有使用該結構的網絡性能提高兩到三倍。
mark分類比賽中的成績單。
圖片識別
mark卷積神經網絡在大樣本下的分類體現出越來越好的效果。圖片,音頻,視頻和大段的文字這些場景使用傳統機器學習處理都不是很理想,而卷積神經網絡就有得天獨厚的能力。
因為卷積神經網絡有卷積核這一法寶。人對于圖片的認知,不會因為這張圖片進行了縮放,而判斷出該圖片表示的是不同的事物,也不會因為一個人的膚色有了深淺的變化,或戴不戴眼鏡,發型的變化而認不出來。
一個事物只要被我們認識了之后,只要它發生變化的程度不足以改變我們對它認知的判斷。我們人就認為它是同一個事物。對于細微變化的免疫能力或者說不敏感性。
卷積網絡在對輸入特征進行提取的過程中,就是一個把高維向量映射成低維向量的過程。
也是一種有損壓縮,這種壓縮特點,就是卷積核在工作的過程中,會提供一種前一層輸入向量(有可能是樣本,有可能是前一層輸出的feature map)到后一輸出向量feature map的刺激能力。
而在卷積核滑動的過程中,我們發現有一個特性:
個別向量值的變化對于刺激結果的影響是極為有限的。
這是一種用科學的方法通過量化的手段去表示敏感程度的過程。而且這個量化的程度是通過訓練得到的。
mark當一張圖像被卷積核之后的feature map 我們改變這張圖的少量像素,無論改變顏色,線條,涂鴉等產生的feature mapB
在多層卷積核的掃描之后,這種差異已經非常的不敏感了。就像是被打了馬賽克的圖片,之前也許會有差異,但是被打了馬賽克之后這些都會被抹去。
進而對后面層的網絡產生近似的刺激。
兩個觀點:
- 少量的噪聲,錯誤對于深度卷積神經網絡的分類影響是很有限的。
具有更強的容忍力。
- 由于卷積神經網絡的這一特性,也使得它的泛化性更好。因為即使對象與訓練樣本庫有一定差異,這種模糊化處理使得他們在較深的網絡層有相似的刺激結果。
從原理上來看: 神經網絡的工作原理實際是記憶一個大概的印象。而不像是在思考或者是推理。
你在訓練樣本中直白的告訴網絡的樣例,網絡會很好的記下來,并且讓它有一定的泛化性。
但是帶有一些復雜的分析和判斷能力,神經網絡自身是不會有的。
總結
以上是生活随笔為你收集整理的11- 深度学习之神经网络核心原理与算法-卷积核典型的CNN网络的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: actions
- 下一篇: Linux20180528