數(shù)據(jù)并行與模型并行
為了加快模型的訓(xùn)練，可以使用分布式計算的思路，把這個大批次分割為很多小批次，使用多個節(jié)點進(jìn)行計算，在每個節(jié)點上計算一個小批次，對若干個節(jié)點的梯度進(jìn)行匯總后再加權(quán)平均，最終求和就得到了最終的大批次的梯度結(jié)果。

在上面這個公式中：w是模型的參數(shù)；
是采用batch_size = n計算得到的真實梯度。這個公式想要證明的是，可以在不同的節(jié)點上分別對n的一部分進(jìn)行梯度的計算，將各個GPU的梯度進(jìn)行匯總后的加權(quán)平均值。公式中最后一行中，在第k個節(jié)點有
個數(shù)據(jù)，
是該節(jié)點上計算得到梯度。
，n個樣本數(shù)據(jù)被分拆到了多個節(jié)點上。
其中，
和
是樣本數(shù)據(jù)i的特征和標(biāo)簽；對于樣本數(shù)據(jù)i，
是前向傳播的損失函數(shù)。
如果對每個節(jié)點上的數(shù)據(jù)量平分，有：

圖1. 傳統(tǒng)參數(shù)服務(wù)器工作流程

圖 2. 不同的訓(xùn)練并行化策略，2(a) 展示了數(shù)據(jù)并行化訓(xùn)練，2(b) 展示了模型并行化訓(xùn)練

圖3. 純GPU參數(shù)服務(wù)器工作流程

圖4. 異構(gòu)參數(shù)服務(wù)器示意圖

總結(jié)

以上是生活随笔為你收集整理的数据并行与模型并行的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。