問(wèn)題

運(yùn)行時(shí)兩個(gè)GPU負(fù)載不均，沒有跑滿，效率較低

解決方法

檢查數(shù)據(jù)輸入，保證瓶頸部分在GPU，而不是GPU在等待

• tf.data使用dataset.prefetch()，保證數(shù)據(jù)流及時(shí)進(jìn)入模型
• map時(shí)使用num_parallel_calls參數(shù)

增大batch_size

總結(jié)

以上是生活随笔為你收集整理的机器学习实践：TensorFlow2 多GPU负载不均衡问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。