作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文網(wǎng)址：https://blog.csdn.net/HiWangWenBing/article/details/120896296

---

目錄

第1章 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1.1 卷積神經(jīng)發(fā)展與進(jìn)化史

1.2 卷積神經(jīng)網(wǎng)絡(luò)的核心要素

1.3 卷積神經(jīng)網(wǎng)絡(luò)的描述方法

1.4 人工智能三巨頭? + 華人圈名人

第2章 GoogleNet網(wǎng)絡(luò)概述

2.1 概述

2.2?Christian Szegedy（克里斯蒂安·塞格迪）其人

2.3 googLeNet提出的動機(jī)與背景

2.4?googLeNet特點(diǎn)與更新

2.5?inception的本意

第3章?GoogLeNet網(wǎng)絡(luò)組成單元

3.1? GoogLeNet基本、核心組成單元Inception的結(jié)構(gòu)介紹 - 原始版本

3.2?GoogLeNet基本、核心組成單元Inception的結(jié)構(gòu)介紹 - 改進(jìn)版本

3.3 什么是1x1卷積核？

3.4?1x1卷積核的意義與作用

第4章?GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)分析

4.1?inception網(wǎng)絡(luò)結(jié)構(gòu)：橫向表示法

4.2 inception網(wǎng)絡(luò)結(jié)構(gòu)：縱向表示法

4.3 不同子版本的比較

4.4?網(wǎng)絡(luò)結(jié)構(gòu)分析

4.5 輔助分類器

---

---

第1章 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1.1 卷積神經(jīng)發(fā)展與進(jìn)化史

?AlexNet是深度學(xué)習(xí)的起點(diǎn)，后續(xù)各種深度學(xué)習(xí)的網(wǎng)絡(luò)或算法，都是源于AlexNet網(wǎng)絡(luò)。

[人工智能-深度學(xué)習(xí)-31]：卷積神經(jīng)網(wǎng)絡(luò)CNN - 常見卷積神經(jīng)網(wǎng)絡(luò)綜合比較大全_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網(wǎng)址：第1章 人工智能發(fā)展的3次浪潮1.1人工智能的發(fā)展報告2011-2020資料來源：清華大學(xué)、中國人工智能學(xué)會《人工智能的發(fā)展報告2011-2020》，賽迪研究院、人工智能產(chǎn)業(yè)創(chuàng)新聯(lián)盟《人工智能實(shí)踐錄》，中金公司研究部? 第一次浪潮（1956-1974年）：AI思潮賦予機(jī)器邏輯推理能力。伴隨著“人工智能”這一新興概念的興起，人們對AI的未來充滿了想象，人工智能迎來第一次發(fā)展浪潮。這.https://blog.csdn.net/HiWangWenBing/article/details/120835303

1.2 卷積神經(jīng)網(wǎng)絡(luò)的核心要素

[人工智能-深度學(xué)習(xí)-27]：卷積神經(jīng)網(wǎng)絡(luò)CNN - 核心概念（卷積、滑動、填充、參數(shù)共享、通道）_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網(wǎng)址：目錄第1章 卷積中的“積”的定義第2章 卷積中的“卷”的定義第3章 填充第4章 單個卷積核的輸出第5章 多個卷積核的輸出第6章 卷積對圖形變換第7章 池化層第8章 全連接的dropout第1章 卷積中的“積”的定義第2章 卷積中的“卷”的定義stride：反映的每次移動的像素點(diǎn)的個數(shù)。第3章 填充...https://blog.csdn.net/HiWangWenBing/article/details/120806277

1.3 卷積神經(jīng)網(wǎng)絡(luò)的描述方法

[人工智能-深度學(xué)習(xí)-28]：卷積神經(jīng)網(wǎng)絡(luò)CNN - 網(wǎng)絡(luò)架構(gòu)與描述方法_文火冰糖（王文兵）的博客-CSDN博客作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文網(wǎng)址：目錄第1章 什么是卷積神經(jīng)網(wǎng)絡(luò)第2章 卷積神經(jīng)網(wǎng)絡(luò)的描述方法第3章 卷積神經(jīng)網(wǎng)絡(luò)的本質(zhì)第4章 卷積神經(jīng)網(wǎng)絡(luò)的總體框框第5章卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與常見類型與分類第6章 常見的卷積神經(jīng)網(wǎng)絡(luò)6.1 AlexNet6.2 VGGNet6.3 GoogleNet： inception結(jié)構(gòu)6.4 google net6.5 ResNet第7章 常見圖形訓(xùn)練庫第1.https://blog.csdn.net/HiWangWenBing/article/details/120806599

1.4 人工智能三巨頭? + 華人圈名人

Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎。

杰弗里·埃弗里斯特·辛頓（Geoffrey Everest Hinton），計(jì)算機(jī)學(xué)家、心理學(xué)家，被稱為“神經(jīng)網(wǎng)絡(luò)之父”、“深度學(xué)習(xí)鼻祖”。Hinton是機(jī)器學(xué)習(xí)領(lǐng)域的加拿大首席學(xué)者，是加拿大高等研究院贊助的“神經(jīng)計(jì)算和自適應(yīng)感知”項(xiàng)目的領(lǐng)導(dǎo)者，是蓋茨比計(jì)算神經(jīng)科學(xué)中心的創(chuàng)始人，目前擔(dān)任多倫多大學(xué)計(jì)算機(jī)科學(xué)系教授。2013年3月，谷歌收購 Hinton 的公司 DNNResearch 后，他便隨即加入谷歌，直至目前一直在 Google Brain 中擔(dān)任要職。

Yoshua Bengio是蒙特利爾大學(xué)（Université de Montréal）的終身教授，任教超過22年，是蒙特利爾大學(xué)機(jī)器學(xué)習(xí)研究所（MILA）的負(fù)責(zé)人，是CIFAR項(xiàng)目的負(fù)責(zé)人之一，負(fù)責(zé)神經(jīng)計(jì)算和自適應(yīng)感知器等方面，又是加拿大統(tǒng)計(jì)學(xué)習(xí)算法學(xué)會的主席，是ApSTAT技術(shù)的發(fā)起人與研發(fā)大牛。Bengio在蒙特利爾大學(xué)任教之前，是AT&T貝爾實(shí)驗(yàn)室 & MIT的機(jī)器學(xué)習(xí)博士后。

Yann LeCun，擔(dān)任Facebook首席人工智能科學(xué)家和紐約大學(xué)教授，1987年至1988年，Yann LeCun是多倫多大學(xué)Geoffrey Hinton實(shí)驗(yàn)室的博士后研究員。

第2章 GoogleNet網(wǎng)絡(luò)概述

2.1 概述

VGG模型是2014年ILSVRC競賽的第二名，而第一名是GoogLeNet。

GoogLeNet, 由稱為inception，之所以能夠戰(zhàn)勝VGG， 這是因?yàn)樗肓艘环N全新的深度學(xué)習(xí)結(jié)構(gòu)。該網(wǎng)絡(luò)結(jié)構(gòu)是由Google的Christian Szegedy于2014年提出的，因此稱為GoogLeNet。

據(jù)說之所以取名GoogLeNet而不是GoogleNet是為了向CNN的開山之作LeNet致敬。

GoogLeNet從Google公司的角度明確了該網(wǎng)絡(luò)的歸屬，而Inception則從這個全新網(wǎng)絡(luò)的內(nèi)在本質(zhì)特征來明確了該網(wǎng)絡(luò)區(qū)別于其他網(wǎng)絡(luò)的特性。

在這之前的AlexNet、VGG等結(jié)構(gòu)都是通過增大網(wǎng)絡(luò)的深度（層數(shù)）來獲得更好的訓(xùn)練效果，但層數(shù)的增加會帶來很多負(fù)作用，比如overfit、梯度消失、梯度爆炸等。

GoogLeNet（Inception）則通對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改造來提升訓(xùn)練結(jié)果，改造后的結(jié)構(gòu)，能更高效的利用計(jì)算資源，在相同的計(jì)算量下能提取到更多的特征，從而提升訓(xùn)練結(jié)果。

從網(wǎng)絡(luò)的深度和寬度兩個方面都有所增加。該網(wǎng)絡(luò)是一個22層的卷積神經(jīng)網(wǎng)絡(luò)，要比VGGNet的19層更深，然后，其網(wǎng)絡(luò)參數(shù)和浮點(diǎn)數(shù)計(jì)算量都遠(yuǎn)遠(yuǎn)小于VGG19網(wǎng)絡(luò)。

2.2?Christian Szegedy（克里斯蒂安·塞格迪）其人

?Christian?Szegedy谷歌的資深研究科學(xué)家，現(xiàn)在Google從事人工智能領(lǐng)域的研究。

GoogLeNet獲得了2014年ImageNet挑戰(zhàn)賽(ILSVRC14)的第一名，VGG獲得了第二名。

2.3 googLeNet提出的動機(jī)與背景

提高神經(jīng)網(wǎng)絡(luò)性能的最直接的方法就是增加其規(guī)模。這包括：

• 增加網(wǎng)絡(luò)深度：網(wǎng)絡(luò)的層數(shù)。
• 每一層的寬度：神經(jīng)元的數(shù)量。

但是，這種簡單的方法有一些問題：比如參數(shù)大量增加、過擬合overfit、梯度消失、梯度爆炸等。

解決這些問題的方法就是：在增加網(wǎng)絡(luò)深度和寬度的同時減少參數(shù)，這就引入了稀疏連接，將全連接變成稀疏連接。但是全連接變成稀疏連接后實(shí)際計(jì)算量并不會有質(zhì)的提升，因?yàn)榇蟛糠钟布轻槍?span style="color:#fe2c24;">密集矩陣計(jì)算優(yōu)化的，稀疏矩陣雖然數(shù)據(jù)量少，但是計(jì)算所消耗的時間卻很難減少。

有沒有一種方法：既能保持網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性，又能利用密集矩陣的高計(jì)算性能。GoogLeNet就是基于此提出的。
?

2.4?googLeNet特點(diǎn)與更新

（1）1 * 1卷積核的使用：發(fā)現(xiàn)更細(xì)微的特征

（2）同一個層，可以使用多個不同長度的卷積核：發(fā)現(xiàn)不同尺度的特征，局部+更寬+更寬的特征

能夠綜合不同尺寸的特征。

（3）增加層數(shù)：發(fā)現(xiàn)更多抽象層次的宏觀特征（20層左右是極限）

（4）Inception(感知器)的引入：不同大小卷積核的組合

2.5?inception的本意

?Inception源于一部知名的電影：盜夢空間。

Inception的英文是：(機(jī)構(gòu)、組織等的)開端，創(chuàng)始。這里是指多維視角單元。

第3章?GoogLeNet網(wǎng)絡(luò)組成單元

3.1? GoogLeNet基本、核心組成單元Inception的結(jié)構(gòu)介紹 - 原始版本

Inception就是把多個卷積或池化操作，放在一起組裝成一個網(wǎng)絡(luò)模塊，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)時以模塊為單位去組裝整個網(wǎng)絡(luò)結(jié)構(gòu)。模塊如下圖所示：

在未使用這種方式的網(wǎng)絡(luò)之前，我們一層往往只使用一種操作，比如卷積或者池化，而且卷積操作的卷積核尺寸也是固定大小的。

但是，在實(shí)際情況下，在不同尺度的圖片里，需要不同大小的卷積核，這樣才能使性能最好，或者或，對于同一張圖片，不同尺寸的卷積核的表現(xiàn)效果是不一樣的，因?yàn)樗麄兊母惺芤安煌?/p>

所以，我們希望讓網(wǎng)絡(luò)自己去選擇，Inception便能夠滿足這樣的需求，一個Inception模塊中并列提供多種卷積核的操作，網(wǎng)絡(luò)在訓(xùn)練的過程中通過調(diào)節(jié)參數(shù)自己去選擇使用，

同時，由于網(wǎng)絡(luò)中都需要池化操作，所以此處也把池化層并列加入網(wǎng)絡(luò)中。

3.2?GoogLeNet基本、核心組成單元Inception的結(jié)構(gòu)介紹 - 改進(jìn)版本

我們在上面提供了一種Inception的結(jié)構(gòu)，存在很多問題，是不能夠直接使用的。

首要問題就是參數(shù)太多，導(dǎo)致特征圖厚度太大。

為了解決這個問題，作者在其中加入了1X1的卷積核，改進(jìn)后的Inception結(jié)構(gòu)如下圖：

這樣做有兩個好處：

首先：是大大減少了參數(shù)量，

其次，是增加的1X1卷積后面也會跟著有非線性激勵，這樣同時也能夠提升網(wǎng)絡(luò)的表達(dá)能力。

（1）4個并行流

（2） 最大2層串聯(lián)

（3）步長為1

（4）GoogLeNet是Inception結(jié)構(gòu)的堆疊，而不是卷積核的堆疊。

3.3 什么是1x1卷積核？

1x1卷積核，又稱為網(wǎng)中網(wǎng)（Network in Network）.

這里通過一個例子來直觀地介紹1x1卷積。輸入6x6x1的矩陣，這里的1x1卷積形式為1x1x1，即為元素2，輸出也是6x6x1的矩陣。但輸出矩陣中的每個元素值是輸入矩陣中每個元素值x2的結(jié)果。

上述情況，并沒有顯示1x1卷積的特殊之處，那是因?yàn)樯厦孑斎氲木仃嘽hannel為1，所以1x1卷積的channel也為1。這時候只能起到升維的作用。這并不是1x1卷積的魅力所在。

讓我們看一下真正work的示例。當(dāng)輸入為6x6x32時，1x1卷積的形式是1x1x32，當(dāng)只有一個1x1卷積核的時候，此時輸出為6x6x1。此時便可以體會到1x1卷積的實(shí)質(zhì)作用：降維。當(dāng)1x1卷積核的個數(shù)小于輸入channels數(shù)量時，即降維[3]。

注意，下圖中第二行左起第二幅圖像中的黃色立方體即為1x1x32卷積核，而第二行左起第一幅圖像中的黃色立方體即是要與1x1x32卷積核進(jìn)行疊加運(yùn)算的區(qū)域。

其實(shí)1x1卷積，可以看成一種全連接（full connection）。

第一層有6個神經(jīng)元，分別是a1—a6，通過全連接之后變成5個，分別是b1—b5，第一層的六個神經(jīng)元要和后面五個實(shí)現(xiàn)全連接，本圖中只畫了a1—a6連接到b1的示意，可以看到，在全連接層b1其實(shí)是前面6個神經(jīng)元的加權(quán)和，權(quán)對應(yīng)的就是w1—w6，到這里就很清晰了。

第一層的6個神經(jīng)元其實(shí)就相當(dāng)于輸入特征里面那個通道數(shù)：6，而第二層的5個神經(jīng)元相當(dāng)于1*1卷積之后的新的特征通道數(shù)：5。

w1—w6是一個卷積核的權(quán)系數(shù)，若要計(jì)算b2—b5，顯然還需要4個同樣尺寸的卷積核[4]。

備注：1x1卷積一般只改變輸出通道數(shù)（channels），而不改變輸出的寬度和高度

3.4?1x1卷積核的意義與作用

（1）降維/升維

(2) 更加精細(xì)的特征提取：精細(xì)到每個像素。

第4章?GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)分析

4.1?inception網(wǎng)絡(luò)結(jié)構(gòu)：橫向表示法

4.2 inception網(wǎng)絡(luò)結(jié)構(gòu)：縱向表示法

4.3 不同子版本的比較

Inception有眾多的子版本。

在眾多網(wǎng)絡(luò)中，Inception-3的參數(shù)少，準(zhǔn)確率高的特點(diǎn)。

Inception-4雖然比Inception-3準(zhǔn)確率高一點(diǎn)點(diǎn)，但參數(shù)也多出不少。

從準(zhǔn)確率看和參數(shù)量來看，ResNet相對于Inception-3并沒有優(yōu)勢。

4.4?網(wǎng)絡(luò)結(jié)構(gòu)分析

（1）GoogLeNet采用了模塊化的結(jié)構(gòu)（Inception結(jié)構(gòu)），方便增添和修改；

（2）網(wǎng)絡(luò)最后采用了average pooling（平均池化）來代替第一層全連接層（分類前的第二層全連接保留），該想法來自NIN（Network in Network），據(jù)說，這樣可以將準(zhǔn)確率提高0.6%。

（3）雖然移除了全連接，但是網(wǎng)絡(luò)中依然使用了Dropout ;

（4）為了避免梯度消失，網(wǎng)絡(luò)額外增加了2個輔助的softmax用于向前傳導(dǎo)梯度（輔助分類器）

對于前三點(diǎn)都很好理解，下面我們重點(diǎn)看一下第4點(diǎn)。

4.5 輔助分類器

這里的輔助分類器只是在訓(xùn)練時使用，防止主梯度消失，在正常預(yù)測時會被去掉。

當(dāng)主梯度消失時，可以永輔助分離器，檢查是否需要進(jìn)一步訓(xùn)練，調(diào)參。

輔助分類器促進(jìn)了更穩(wěn)定的學(xué)習(xí)和更好的收斂，往往在接近訓(xùn)練結(jié)束時，輔助分支網(wǎng)絡(luò)開始超越?jīng)]有任何分支的網(wǎng)絡(luò)的準(zhǔn)確性，達(dá)到了更高的水平。

疑問：

能否把輔助分類器應(yīng)用到正常的預(yù)測中，進(jìn)行分層預(yù)測？

---

作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文網(wǎng)址：https://blog.csdn.net/HiWangWenBing/article/details/120896296

總結(jié)

以上是生活随笔為你收集整理的[人工智能-深度学习-35]：卷积神经网络CNN - 常见分类网络- GoogLeNet Incepetion网络架构分析与详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。