gpu填充速率 计算_【经典回顾】Nvidia GPU 上的 CNN 计算速度变迁
筆者從 2012 年初開始接觸 GPU 編程，2014 年上半年開始接觸 Caffe，可以毫不謙虛地說是“一天天看著 Nvidia GPU 和 Caffe 長大的”。
Nvidia GPU 架構(gòu)經(jīng)歷了 Fermi、Kepler、Maxwell、Pascal(都是著名物理學(xué)家：特斯拉、費米、開普勒、麥克斯韋、帕斯卡、還未發(fā)布的 Volta 伏打……)，硬件版本號從 1.x 到現(xiàn)在的 6.x，CUDA Toolkit 從 3.x 到現(xiàn)在 8.x，cuDNN 也從 v1 升級到 v5.1。
Caffe 也伴隨著 Nvidia GPU 硬件和軟件升級不斷調(diào)整，與時俱進，經(jīng)典的 CNN 網(wǎng)絡(luò) AlexNet (Caffe 重新實現(xiàn)的版本稱為 CaffeNet)計算速度也不斷刷新。另外，Caffe 也在努力支持新模型(VGG，GoogLeNet，ResNet……)。
本文是一篇歷史回顧文章，可能很多試驗已經(jīng)不再適合讀者的環(huán)境(如果你買了 GTX 1080 、1080 Ti 或 Titan X Pascal，就不要想著安裝低于 8.0 版本的 CUDA 了，會坑)。我會做兩個試驗，分別考察軟件、硬件變遷給 CNN 計算速度帶來的影響。
兩個試驗中的 CNN 模型均使用 CaffeNet，輸入 batch size 固定為 128。模型 prototxt 文件內(nèi)容如下(從 $CAFFE_ROOT/models/bvlc_reference_caffenet/deploy.prototxt 修改得到)：
name: "CaffeNet"
layer {
name: "data"
type: "Input"
top: "data"
input_param { shape: { dim: 128 dim: 3 dim: 227 dim: 227 } }
}
……后面內(nèi)容保持不變
將上述 prototxt 文件保存為?caffenet-for-benchmark.prototxt。
運行如下命令進行 CNN 計時，可以得到 forward/backward 時間：
$ cd $CAFFE_ROOT
$ ./build/tools/caffe.bin time -model caffenet-for-benchmark.prototxt -gpu 0
本文將上述計算時間折算為每秒處理多少張圖片(images/s)。算法為：
Benchmark #1 = BatchSize * iterations / ForwardTime
Benchmark #2 = BatchSize * iterations / (ForwardTime + BackwardTime)
其中 ForwardTime、BackwardTime 單位均為秒，Caffe time 程序中 iterations 默認(rèn)值為 50，因此上面公式簡化為：
Benchmark #1 = 128 * 50 / ForwardTime = 6400 /?ForwardTime
Benchmark #2 = 128 * 50 / (ForwardTime + BackwardTime) = 6400 /?(ForwardTime + BackwardTime)
【試驗 1】
第一個試驗固定使用 Tesla K40m 硬件，通過切換不同版本 CUDA 和 cuDNN 來測試 CaffeNet Forward/Backward 速度。另外提供了 Caffe Native 方法( im2col + gemm，CPU/GPU )作為 BaseLine 實現(xiàn)。其中 CPU 版本 Caffe 使用了 OpenBLAS-0.2.14，CPU 型號為?Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz，16 個物理核。
試驗結(jié)果如下圖所示：
具體數(shù)值如下：
【試驗 1 結(jié)論】
(1)K40m 上不使用 cuDNN 加速庫時，跑 AlexNet 前向計算可達 521 images/s，前向+反向計算約 266 images/s。(2)K40m 上使用 cuDNN 加速庫，跑 AlexNet 前向計算最高可達 > 1200 images/s，前向+反向計算最高可達 >550 images/s。
(3)K40m 上使用 cuDNN v3, v4, v5 跑 AlexNet 性能差別不大。
(4)K40m GPU 跑 AlexNet 前向計算相比 CPU E5-2650v2 速度提升了 19 ~ 45 倍，前向+反向計算速度提高了 17~36 倍。
(5)cuDNN 相比 Caffe Native GPU 實現(xiàn)有 1.7 ~ 2.3 倍速度提升。
(6)從 cuDNN v1 到 v5，通過純軟件優(yōu)化，速度僅有 1.3 倍提升。
【注】
(1) ?K40m 時鐘默認(rèn)為 745 MHz，測試出來的計算速度會比上述結(jié)果低一些，可以通過下面兩個命令(需要 root 權(quán)限執(zhí)行)開啟最高運行時鐘：
$ nvidia-smi -pm 1
$ nvidia-smi -ac 3004,875
第二條命令不能隨便設(shè)置數(shù)值。不同型號 GPU 支持的運行時鐘頻率不同，讀者應(yīng)查閱官方硬件管理手冊。
(2) 完成上述測試的 CUDA 版本有差異。
cuDNN v1, v2 需要 CUDA 6.5；
cuDNN v3 需要 CUDA 7.0 ；
cuDNN v4 需要 CUDA 7.5；
cuDNN v5 需要 CUDA 8.0；
GPU 驅(qū)動版本固定為 375.20，實踐證明高版本的 GPU 驅(qū)動可以支持低版本 CUDA，但反過來不一定成立。
(3) 完成上述測試的 Caffe 版本有些許不同。
cuDNN v5
https://github.com/bvlc/caffe，branch master，commit e687a71fac81718d40d4e0e98d29eab34f784b5b(20170307 版本)
cuDNN v3 & v4：
https://github.com/bvlc/caffe，branch master，commit 559758d0c5c5906633174d392b89c0a7a88dc9f9(20160302 版本)
cuDNN v2：
https://github.com/bvlc/caffe，branch master，commit de7b0bf7db0d5fb8f840e03f40e099d9eefaaacc(20150814 版本)
cuDNN v1：
https://github.com/bvlc/caffe，branch tutorial，20140909 版本。
在 Caffe 根目錄下，執(zhí)行 git show 可以顯示代碼 commit 、merge、貢獻者、日期等信息。
$ git show
commit 559758d0c5c5906633174d392b89c0a7a88dc9f9
Merge: 37d1f91 666da79
Author: Jon Long
Date: Wed Mar 2 16:23:14 2016 -0800
Merge pull request #3716 from ttdt/master
Use six library to ensure pycaffe.py python3 compliance
【試驗 2 】
第二個試驗固定使用 CUDA 8.0 + cuDNN 5.1，通過切換不同硬件來測試 CaffeNet Forward/Backward 速度。測試方法與試驗 1 完全相同。
首先看下不同硬件的絕對處理能力。為了方便，我們只做 CaffeNet Forward 計算。
看到這張圖，一部分讀者估計會淚奔，辛辛苦苦在 K40m 上優(yōu)化程序，速度提升了 1.x 倍，結(jié)果黃教主一發(fā)布新卡，速度提升 X 倍……
絕對性能中，P100 和 P40 遙遙領(lǐng)先，其架構(gòu)細節(jié)可以見上一篇文章《Pascal 架構(gòu)詳解》。
另外我們還要關(guān)注另一個性能指標(biāo)，即每瓦的處理能力，這在一些功耗敏感的應(yīng)用中頗為重要。
這張圖估計要另一部分讀者淚奔。。。一向以性能-功耗比著稱的 FPGA 廠商，要硬著頭皮研發(fā)新一代產(chǎn)品(Stratix 10，UltraScale+)才能趕上了。
Tesla P4 功耗僅 75 W，單精度處理能力標(biāo)稱 5.5 TFLOPS， int8 計算能力更是高達 22 TFLOPS，目前可以秒殺市面上任何一款 FPGA。注意我們試驗中均使用 32 bit 浮點，筆者曾試過 int8 版本相對 32 bit 浮點版本要有至少 3.5X 加速。限于篇幅，不再展開。
【試驗 2 結(jié)論】
(1) K40m 的絕對性能，每瓦性能在本文提到的所有 Nvidia GPU 中都是墊底的。而一些論文常常先拿軟柿子捏。
(2)Maxwell 架構(gòu)(M40、Titan X Maxwell)相比 Kepler 架構(gòu)(K40m)絕對性能提升 2.4 倍，每瓦性能提升 2.27 倍。
(3)Pascal 架構(gòu)(P40, P100)相比 Maxwell 架構(gòu)(M40、Titan X Maxwell)絕對性能提升 1.5 ~ 1.6 倍，每瓦性能提升 1.6 倍。
(4)Pascal 架構(gòu)的 Tesla P4 每瓦性能比同系列的 P40, P100, GTX 1080 提升 1.6 倍，是目前每瓦性能最高的處理器。如果使用 int8 數(shù)值類型進行計算，每瓦性能還有 3 倍以上提升。
下表為本文提到的所有 Nvidia GPU 硬件詳情。
值得注意的是 Tesla P100 的雙精度處理能力最強，標(biāo)稱 4.7 TFLOPS，實測達到 4.6 TFLOPS 。另外支持半精度(FP16)計算，實測 FP16 計算能力為 FP32 的 1.8 倍。K40m 雙精度計算能力為 1.4 TFLOPS，僅次于 Tesla P100。其他型號 GPU 的雙精度計算能力都很弱(< 0.5 TFLOPS)。因此，K40m 也并非“一無是處”。
【寫在最后】
問題1：為什么不用 GoogLeNet 這類較新的模型？
答：因為第一個試驗中用到早期 Caffe 和 cuDNN，不支持 GoogLeNet，無法給出結(jié)果。
問題2：為什么 cuDNN 后面幾個版本在 K40m 上速度沒有改進？
答：后面幾個版本的 cuDNN 主要特性放在對新硬件架構(gòu)的支持，針對舊的架構(gòu)的優(yōu)化可能已經(jīng)停止。
問題3：為什么沒有 Titan X Pascal、GTX 1080 Ti……等 GPU 上的測試結(jié)果？
答：手頭沒有。如果有壕贊助，筆者愿意在本文中更新。也歡迎具備條件的讀者將評測結(jié)果反饋給筆者。
總結(jié)
以上是生活随笔為你收集整理的gpu填充速率 计算_【经典回顾】Nvidia GPU 上的 CNN 计算速度变迁的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： jekins搭建
- 下一篇： 程序员的思维修炼》读书笔记