參考了官方文檔， torch.nn.parallel.DataParallel
以及https://zhuanlan.zhihu.com/p/102697821

在運行此DataParallel模塊之前，并行化模塊必須在device_ids [0]上具有其參數和緩沖區。在執行DataParallel之前，會首先把其模型的參數放在device_ids[0]上，一看好像也沒有什么毛病，其實有個小坑。我舉個例子，服務器是八卡的服務器，剛好前面序號是0的卡被別人占用著，于是你只能用其他的卡來，比如你用2和3號卡，如果你直接指定device_ids=[2, 3]的話會出現模型初始化錯誤，類似于module沒有復制到在device_ids[0]上去。

os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "2, 3"

當你添加這兩行代碼后，那么device_ids[0]默認的就是第2號卡，你的模型也會初始化在第2號卡上了，而不會占用第0號卡了。這里簡單說一下設置上面兩行代碼后，那么對這個程序而言可見的只有2和3號卡，和其他的卡沒有關系，這是物理上的號卡，邏輯上來說其實是對應0和1號卡，即device_ids[0]對應的就是第2號卡，device_ids[1]對應的就是第3號卡。（當然你要保證上面這兩行代碼需要定義在

device_ids = [0, 1] net = torch.nn.DataParallel(net, device_ids=device_ids)

而且不要以為添加了to(device)或者.cuda（） 就運行在卡0上了，其實不然！ 這只是將模型暫時放到了卡0上，第二步系統會復制模型和參數的！

而且并行和to、cuda是缺一不可的！

代碼測試：

import torch import torch.nn as nn import torch.nn.functional as F import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" #指定程序可見的devices！ 也就是其它設備都不可見 os.environ["CUDA_VISIBLE_DEVICE"] = "0, 1" #設置當前使用的GPU設備為1,0號兩個設備,名稱依次為'/gpu:0'、'/gpu:1'。表示優先使用1號設備,然后使用0號設備## 看起來沒事，但是有坑的！ 如果我們和別人一塊使用的話，別人在用卡0，因為程序會默認將模型參數和緩存放到卡0，那么你不改上面的話就會出現問題device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")class Model(nn.Module):def __init__(self):super(Model, self).__init__()self.conv1 = nn.Conv2d(1, 20, 5)self.conv2 = nn.Conv2d(20, 20, 5)def forward(self, x):x = F.relu(self.conv1(x))return F.relu(self.conv2(x))input = torch.randn(128, 1, 256, 128) net = Model() if torch.cuda.device_count() > 1:# model.to(device)device_ids = [0, 1, 2]net = torch.nn.parallel.DataParallel(net, device_ids=device_ids)net.cuda()# net.to(device) //兩種方法都可以！ 只不是這種方法考慮了不能用的情況！for param in next(net.parameters()):print(param, param.device)print(next(net.parameters()).device) net = net(input) print(net)

總結

以上是生活随笔為你收集整理的如何并行运行程序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。