學習筆記，僅供參考，有錯必糾

---

文章目錄

• • ImageNet Classification with Deep Convolutional Neural Networks
  • • 摘要
    • Introduction
    • dataset
    • Architecture
    • • Training on Multiple GPUs
      • Training on Multiple GPUs
      • Local Response Normalization
      • Overall Architecture
    • Reducing Overfitting
    • • Data Augmentation
      • Dropout
    • Details of learning

---

ImageNet Classification with Deep Convolutional Neural Networks

摘要

top5:模型給出5個答案，只要其中有1個答案是正確的,則認為模型判斷正確.

Introduction

網絡的大小被GPU限制，如果未來有更快的GPU以及更大的數據集，則模型會得到更好的結果.

dataset

使用的數據集為ImageNet的子集，包含1000個類別，每個類別有1000張圖片. 本文，將1200000張圖片作為訓練集，50000張圖片作為驗證集，150000張圖片作為測試集. 由于原始圖片中的大小不一，所以，文中使用下采樣的方法，將原始圖片resize成256*256的相同大小的圖片.

Architecture

Training on Multiple GPUs

文中使用RELU激活函數，由圖1可知，使用RELU激活函數將錯誤率降低到25%，比使用tanh激活函數要快將近6倍.

Training on Multiple GPUs

使用多個GPU加快訓練速度.

Local Response Normalization

文中在池化層后加入了【局部響應歸一化】，從而降低top1和top5的錯誤率.

備注：該技術并不是在所有情況下都能提高模型性能，在2015年ICLR的VGGNet 的論文中提出，使用【局部響應歸一化】并不能提升結果，同時會增加了內存和計算量.

Overall Architecture

這里的輸入層為$224?224?3$是因為文中對$256?256?3$的圖像進行了裁剪，從而增加了數據集. 盡管使用這種數據增強的方法會使數據之間存在高度相關，但同時會得到較好的效果.

Reducing Overfitting

Data Augmentation

Dropout

Details of learning

總結

以上是生活随笔為你收集整理的经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。