? 本文是讀完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一則讀書筆記，重點介紹在 Google 的軟件框架 DistBelief 下設計的一種用來訓練大規模深度神經網絡的隨機梯度下降法 — Downpour SGD。該方法通過分布式地部署多個模型副本和一個“參數server”，同一時候實現了模型并行和數據并行。且對機器失效問題具有非常好的容錯性。結合 Adagrad 自適應學習率使用，對非凸優化問題有非常好的效果。

作者: peghoty?

出處:?http://blog.csdn.net/itplus/article/details/31831661

歡迎轉載/分享, 但請務必聲明文章出處.

轉載于:https://www.cnblogs.com/jhcelue/p/7002493.html

總結

以上是生活随笔為你收集整理的DistBelief 框架下的并行随机梯度下降法 - Downpour SGD的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。