知乎討論:

https://www.zhihu.com/question/61607442/answer/204675996

?

案例一

http://www.myzaker.com/article/5a68020fd1f1495d57000030/

Training Imagenet in one hour

本篇論文發現了 large batch 可以大大的提升分類網絡的收斂速度，通過把 batch size 從 256 提升到 8192，將訓練時間從幾周降低到了 1 個小時，大大提升了神將網絡的訓練速度。

?

案例二

insightface 人臉識別討論

batch size越大越好

?

實際中，受限于顯卡內存的限制，batch_size不能無限增大，導致網絡收斂速度慢。

從統計學的角度來看，batch_size越大意味著，參與計算各種mean計算的結果(BN, avg Grident)越準確.

?

轉載于:https://www.cnblogs.com/adong7639/p/9728547.html

總結

以上是生活随笔為你收集整理的深度学习的batch_size的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。