1、同步更新

在同步更新的時候， 每次梯度更新，要等所有分發出去的數據計算完成后，返回回來結果之后，把梯度累加算了均值之后，再更新參數。這樣的好處是loss的下降比較穩定， 但是這個的壞處也很明顯， 處理的速度取決于最慢的那個分片計算的時間。

2、異步更新

在異步更新的時候， 所有的計算節點，各自算自己的， 更新參數也是自己更新自己計算的結果， 這樣的優點就是計算速度快，計算資源能得到充分利用，但是缺點是loss的下降不穩定，抖動大。

3、如何選擇

在數據量小的情況下，各個節點的計算能力比較均衡的情況下，推薦使用同步模式。數據量很大，各個機器的計算性能摻差不齊的情況下，推薦使用異步的方式。

總結

以上是生活随笔為你收集整理的tensorflow分布式训练之同步更新和异步更新的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。