經(jīng)典CNN模型計(jì)算量與內(nèi)存需求分析

表1 CNN經(jīng)典模型的內(nèi)存，計(jì)算量和參數(shù)數(shù)量對(duì)比

?	AlexNet	VGG16	Inception-v3
模型內(nèi)存(MB)	＞200	＞500	90-100
參數(shù)（百萬）	60	138	23.2
計(jì)算量（百萬）	720	15300	5000

?

1.?CNN模型具體分析（以AlexNet網(wǎng)絡(luò)模型為例）

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

?

?

圖1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

?

AlexNet有5個(gè)卷積層和3個(gè)全連接層

C1：96×11×11×3 (卷積核個(gè)數(shù)/寬/高/深度)? ? ? ? ? ? ? ?34848個(gè)

C2：256×5×5×48（卷積核個(gè)數(shù)/寬/高/深度）? ? ? ? ? ?307200個(gè)

C3：384×3×3×256（卷積核個(gè)數(shù)/寬/高/深度）? ? ? ? ?884736個(gè)

C4：384×3×3×192（卷積核個(gè)數(shù)/寬/高/深度）? ? ? ? ?663552個(gè)

C5：256×3×3×192（卷積核個(gè)數(shù)/寬/高/深度）? ? ? ? ?442368個(gè)

R1：4096×6×6×256（卷積核個(gè)數(shù)/寬/高/深度）?????? 37748736個(gè)

R2：4096×4096? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 16777216個(gè)

R3：4096×1000? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 4096000個(gè)

共6000萬個(gè)參數(shù)

?

1.2 AlexNet模型內(nèi)存大小計(jì)算

6000萬(個(gè)參數(shù))×32位(float32)=19.2億位≈228.88MB

?

1.3 AlexNet模型計(jì)算力消耗

圖2 AlexNet模型每層每秒浮點(diǎn)運(yùn)算次數(shù)及參數(shù)數(shù)量

?

1.4 AlexNet網(wǎng)絡(luò)模型配置

AlexNet網(wǎng)絡(luò)模型獲得了2012年ImageNet比賽的冠軍。AlexNet使用兩塊GTX580顯卡進(jìn)行訓(xùn)練，兩塊GPU各訓(xùn)練網(wǎng)絡(luò)的一部分，在第二個(gè)卷積層和全連接層兩塊GPU之間才進(jìn)行互相通信。

?

總結(jié)

以上是生活随笔為你收集整理的2020-12-09 深度学习 经典CNN模型计算量与内存需求分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。