AlexNet 是 2012年ILSVRC 比賽冠軍，遠(yuǎn)超第二名的CNN，比LeNet更深，用多層小卷積疊加來替換單個的大卷積，結(jié)構(gòu)如下圖所示。
??

結(jié)構(gòu)

預(yù)處理

• 原始圖片：$256?256?3$

• 圖像處理：

  • 1.隨機的剪切，將 $256?256$ 的圖片剪切成為 $224?224$ 的圖片
  • 2.對 $224?224$ 的圖像做了一些旋轉(zhuǎn)和位置變換
  • 3.對 $224?224$ 的圖像做了一個圖像大小的擴大，變成 $227?227$ 的圖片

• 備注：實際輸入AlexNet網(wǎng)絡(luò)的圖片是一個 $227?227?3$ 的圖片信息

• 激勵函數(shù)：論文中是：sigmoid，但是實際比賽的時候，使用的是ReLU

• 總參數(shù)量：60956032

L0：輸入層

• input：$227?227?3$
• output：$227?227?3$

L1 卷積+激勵

• input：$227?227?3$
• filter：$3?11?11$
• stripe：$4$
• padding：$0$
• filter size/depth：$48?2$
• output：$55?55?48?2$
• 神經(jīng)元數(shù)目：$55?55?48?2$
• 參數(shù)個數(shù)：$(3?11?11+1)?48?2=34944$
• 連接方式：
  • 使用雙GPU來進(jìn)行卷積操作，這個卷積操作和普通卷積一樣
  • 兩個GPU并行的進(jìn)行卷積操作，每個GPU只負(fù)責(zé)其中48個卷積核的計算
  • 效果：可以并行的計算模型，模型執(zhí)行效率可以得到提升，并且將GPU之間的通信放到網(wǎng)絡(luò)結(jié)構(gòu)偏后的位置，可以降低信號傳輸?shù)膿p耗"

L2 最大池化

• input：$55?55?48?2$
• filter：$3?3$
• stripe：$2$
• padding：$0$
• output：$27?27?48?2$
• 參數(shù)個數(shù)：$0$

L3 卷積+激勵

• input：$27?27?48?2$
• filter：$5?5?48$
• stripe：$1$
• padding：$2$ 上下左右各加2個像素
• filter size/depth：$128?2$
• output：$27?27?128?2$
• 神經(jīng)元數(shù)目：$27?27?128?2$
• 參數(shù)個數(shù)：$(5?5?48+1)?128?2=307456$
• 連接方式：各個GPU中對應(yīng)各自的48個feature map進(jìn)行卷積過程，和普通卷積一樣

L4 最大池化

• input：$27?27?128?2$
• filter：$3?3$
• stripe：$2$
• padding：$0$
• output：$13?13?128?2$
• 參數(shù)個數(shù)：$0$

L5 卷積+激勵

• input：$13?13?128?2$
• filter：$3?3?256$
• stripe：$1$
• padding：$2$
• filter size/depth：$192?2$
• output：$13?13?192?2$
• 神經(jīng)元數(shù)目：$13?13?192?2$
• 參數(shù)個數(shù)：$(3?3?256+1)?192?2=885120$
• 連接方式：將兩個GPU中的256個feature map一起做卷積過程

L6 卷積+激勵

• input：$13?13?192?2$
• filter：$3?3?192$
• stripe：$1$
• padding：$2$
• filter size/depth：$192?2$
• output：$13?13?192?2$
• 神經(jīng)元數(shù)目：$13?13?192?2$
• 參數(shù)個數(shù)：$(3?3?192+1)?192?2=663936$
• 連接方式：各個GPU中對應(yīng)各自的48個feature map進(jìn)行卷積過程，和普通卷積一樣

L7 卷積+激勵

• input：$13?13?192?2$
• filter：$3?3?192$
• stripe：$1$
• padding：$2$
• filter size/depth：$128?2$
• output：$13?13?128?2$
• 神經(jīng)元數(shù)目：$13?13?128?2$
• 參數(shù)個數(shù)：$(3?3?192+1)?128?2=442624$
• 連接方式：各個GPU中對應(yīng)各自的48個feature map進(jìn)行卷積過程，和普通卷積一樣

L8 最大池化

• input：$13?13?128?2$
• filter：$3?3$
• stripe：$2$
• padding：$0$
• output：$6?6?128?2$
• 參數(shù)個數(shù)：$0$

L9 全連接+激勵

• input：$9216$
• output：$2048?2$
• 參數(shù)個數(shù)：$9216?2048?2=37748736$

L10 全連接+激勵

• input：$4096$
• output：$2048?2$
• 參數(shù)個數(shù)：$4096?4096=16777216$

L11 全連接+激勵

• input：$4096$
• output：$1000$
• 參數(shù)個數(shù)：$4096?1000=4096000$

AlexNet結(jié)構(gòu)優(yōu)化

非線性激活函數(shù)：ReLU

使用Max Pooling，并且提出池化核和步長，使池化核之間存在重疊，提升了特征的豐富性。

防止過擬合的方法：Dropout，Data augmentation（數(shù)據(jù)增強）

大數(shù)據(jù)訓(xùn)練：百萬級ImageNet圖像數(shù)據(jù)

GPU實現(xiàn)：在每個GPU中放置一半核（或神經(jīng)元），還有一個額外的技巧：GPU間的通訊只在某些層進(jìn)行。

LRN歸一化：對局部神經(jīng)元的活動創(chuàng)建了競爭機制，使得其中響應(yīng)比較大的值變得相對更大，并抑制其它反饋較小的神經(jīng)元，增強了模型的泛化能力。本質(zhì)上，LRN是仿造生物學(xué)上活躍的神經(jīng)元對于相鄰神經(jīng)元的抑制現(xiàn)象（側(cè)抑制）

??

在AlexNet引入了一種特殊的網(wǎng)絡(luò)層次，即：Local Response Normalization(LRN, 局部響應(yīng)歸一化)，主要是對ReLU激活函數(shù)的輸出進(jìn)行局部歸一化操作，公式如下：

其中a表示第i個卷積核在(x,y)坐標(biāo)位置經(jīng)過激活函數(shù)的輸出值，這個式子的含義就是輸出一個值和它前后的n個值做標(biāo)準(zhǔn)化。k、n、α、β是超參數(shù)，在AlexNet網(wǎng)絡(luò)中分別為：2、5、10^-4、0.75，N為卷積核總數(shù)。

總結(jié)

以上是生活随笔為你收集整理的深度学习之卷积神经网络 AlexNet的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。