? ? 當(dāng)多GPU樹形拓?fù)錁?gòu)建完畢，數(shù)據(jù)預(yù)緩沖到GPU顯存，開始進(jìn)入多GPU并行訓(xùn)練。Caffe的Solver提供了兩個(gè)用于多GPU訓(xùn)練的回調(diào)函數(shù)：on_start()和on_gradient_ready()。如圖4-5所示，on_start函數(shù)用于將參數(shù)分發(fā)拷貝到每一個(gè)GPU中，on_gradeint_ready函數(shù)用于歸約反向傳播的梯度值。

?

轉(zhuǎn)載于:https://www.cnblogs.com/wuxiangli/p/7121338.html

總結(jié)

以上是生活随笔為你收集整理的caffe多个gpu数据合并到一起的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。