一、實(shí)驗(yàn)

? ? ? 采用keras的multi_gpu_model函數(shù)注釋中的示例代碼

　　經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)batch_size=4的時(shí)候，2GPU速度為30s/epoch，4GPU速度為36s/epoch。速度反而下降了

? ? ? 當(dāng)batch_size=32時(shí)，2GPU速度為10s/epoch，4GPU速度為8s/epoch，速度1.25倍

? ? ? 當(dāng)batch_size=64時(shí)，2GPU速度為9s/epoch，4GPU速度為6s/epoch，速度1.5倍

二、結(jié)論

? ? ?多GPU模式存在通信開銷，batch_size越大，GPU計(jì)算開銷所占比例越大，通信開銷所占比例越小，多GPU的速度提高越接近準(zhǔn)線性

轉(zhuǎn)載于:https://www.cnblogs.com/mimandehuanxue/p/9232855.html

總結(jié)

以上是生活随笔為你收集整理的多GPU真的能加速吗？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。