問題描述：在使用TensorFlow2.2訓(xùn)練模型時，加入多GPU訓(xùn)練出現(xiàn)如下錯誤

tensorflow.python.framework.errors_impl.InvalidArgumentError: No OpKernel was registered to support Op 'NcclAllReduce' used by {{node NcclAllReduce}} with these attrs: [reduction="sum", shared_name="c1", T=DT_FLOAT, num_devices=2] Registered devices: [CPU, GPU, XLA_CPU, XLA_GPU] Registered kernels:<no registered kernels>[[NcclAllReduce]] [Op:__inference_train_function_81214]

這個錯誤是發(fā)生在使用多個GPU進(jìn)行并行訓(xùn)練的時候，使用單個GPU訓(xùn)練的時候并沒有報錯。

運(yùn)行環(huán)境：

• 訓(xùn)練的模型yolox
• 系統(tǒng)：Win10
• tensorflow-gpu版本：2.2.0
• 使用2張GPU

報錯原因:
MirroredStrategy默認(rèn)使用NCCL進(jìn)行跨設(shè)備通信，而NCCL在Windows上不可用，也就是說這種默認(rèn)的多GPU分布式訓(xùn)練模式不支持win系統(tǒng)；所以需要修改多GPU訓(xùn)練模式。

解決問題：
Ctrl+F，在train.py文件中檢索‘strategy’關(guān)鍵詞，發(fā)現(xiàn)如下

if ngpus_per_node > 1:strategy = tf.distribute.MirroredStrategy( )else:strategy = Noneprint('Number of devices: {}'.format(ngpus_per_node))

添加訓(xùn)練模式如下：

if ngpus_per_node > 1:strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0", "/gpu:1"], cross_device_ops=tf.distribute.HierarchicalCopyAllReduce())else:strategy = Noneprint('Number of devices: {}'.format(ngpus_per_node))

錯誤消失，模型成功開始訓(xùn)練了！

不容易啊，排查了整整一上午，記錄一下！！網(wǎng)上的介紹沒有明確說怎么修改，完全知不道怎么改，后來仔細(xì)讀了下面的GPU分布式訓(xùn)練才改對。

參考網(wǎng)頁：多GPU分布式訓(xùn)練；錯誤問題原因。

總結(jié)

以上是生活随笔為你收集整理的成功解决tensorflow.python.framework.errors_impl.InvalidArgumentError报错问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。