圖片來源：Pixabay，作者：talha khalil

2019 年第 67 篇文章，總第 91 篇文章

本文大約?6500?字，建議收藏閱讀！

原題?| Speed Up your Algorithms Part 1 — PyTorch

作者?| Puneet Grover

譯者?| kbsc13("算法猿的成長"公眾號作者)

原文?| https://towardsdatascience.com/speed-up-your-algorithms-part-1-pytorch-56d8a4ae7051

聲明?| 翻譯是出于交流學習的目的，歡迎轉(zhuǎn)載，但請保留本文出于，請勿用作商業(yè)或者非法用途

前言

本文將主要介紹如何采用?cuda?和?pycuda?檢查、初始化 GPU 設(shè)備，并讓你的算法跑得更快。

PyTorch?是?torch?的 python 版本，它是 Facebook AI 研究組開發(fā)并開源的一個深度學習框架，也是目前非常流行的框架，特別是在研究人員中，短短幾年已經(jīng)有追上?Tensorflow?的趨勢了。這主要是因為其簡單、動態(tài)計算圖的優(yōu)點。

pycuda?是一個?python?第三方庫，用于處理 Nvidia 的 CUDA 并行計算 API 。

本文目錄如下：

如何檢查?cuda?是否可用？

如何獲取更多?cuda?設(shè)備的信息？

在 GPU 上存儲 Tensors 和運行模型的方法

有多個 GPU 的時候，如何選擇和使用它們

數(shù)據(jù)并行

數(shù)據(jù)并行的比較

torch.multiprocessing

本文的代碼是用 Jupyter notebook，Github 地址為：

https://nbviewer.jupyter.org/github/PuneetGrov3r/MediumPosts/blob/master/SpeedUpYourAlgorithms/1%29%20PyTorch.ipynb

1. 如何檢查 cuda 是否可用？

檢查?cuda?是否可用的代碼非常簡單，如下所示：

import?torch torch.cuda.is_available() #?True

2. 如何獲取更多 cuda 設(shè)備的信息？

獲取基本的設(shè)備信息，采用?torch.cuda?即可，但如果想得到更詳細的信息，需要采用?pycuda?。

實現(xiàn)的代碼如下所示：

import?torch import?pycuda.driver?as?cuda cuda.init() ##?Get?Id?of?default?device torch.cuda.current_device() #?0 cuda.Device(0).name()?#?'0'?is?the?id?of?your?GPU #?Tesla?K80

或者如下所示：

torch.cuda.get_device_name(0)?#?Get?name?device?with?ID?'0' #?'Tesla?K80'

這里寫了一個簡單的類來獲取?cuda?的信息：

#?A?simple?class?to?know?about?your?cuda?devices import?pycuda.driver?as?cuda import?pycuda.autoinit?#?Necessary?for?using?its?functions cuda.init()?#?Necesarry?for?using?its?functionsclass?aboutCudaDevices():def?__init__(self):passdef?num_devices(self):"""返回?cuda?設(shè)備的數(shù)量"""return?cuda.Device.count()def?devices(self):"""獲取所有可用的設(shè)備的名稱"""num?=?cuda.Device.count()print("%d?device(s)?found:"%num)for?i?in?range(num):print(cuda.Device(i).name(),?"(Id:?%d)"%i)def?mem_info(self):"""獲取所有設(shè)備的總內(nèi)存和可用內(nèi)存"""available,?total?=?cuda.mem_get_info()print("Available:?%.2f?GB\nTotal:?????%.2f?GB"%(available/1e9,?total/1e9))def?attributes(self,?device_id=0):"""返回指定?id?的設(shè)備的屬性信息"""return?cuda.Device(device_id).get_attributes()def?__repr__(self):"""輸出設(shè)備的數(shù)量和其id、內(nèi)存信息"""num?=?cuda.Device.count()string?=?""string?+=?("%d?device(s)?found:\n"%num)for?i?in?range(num):string?+=?(?"????%d)?%s?(Id:?%d)\n"%((i+1),cuda.Device(i).name(),i))string?+=?("??????????Memory:?%.2f?GB\n"%(cuda.Device(i).total_memory()/1e9))return?string#?You?can?print?output?just?by?typing?its?name?(__repr__): aboutCudaDevices() #?1?device(s)?found: #????1)?Tesla?K80?(Id:?0) #??????????Memory:?12.00?GB

如果想知道當前內(nèi)存的使用情況，查詢代碼如下所示：

import?torch #?Returns?the?current?GPU?memory?usage?by? #?tensors?in?bytes?for?a?given?device #?返回當前使用的?GPU?內(nèi)存，單位是字節(jié) torch.cuda.memory_allocated() #?Returns?the?current?GPU?memory?managed?by?the #?caching?allocator?in?bytes?for?a?given?device #?返回當前緩存分配器中的?GPU?內(nèi)存 torch.cuda.memory_cached()

清空?cuda?緩存的代碼如下所示：

#?Releases?all?unoccupied?cached?memory?currently?held?by #?the?caching?allocator?so?that?those?can?be?used?in?other #?GPU?application?and?visible?in?nvidia-smi #?釋放所有非占用的內(nèi)存 torch.cuda.empty_cache()

但需要注意的是，上述函數(shù)并不會釋放被?tensors?占用的 GPU 內(nèi)存，因此并不能增加當前可用的 GPU 內(nèi)存。

3. 在 GPU 上存儲 Tensors 和運行模型的方法

如果是想存儲變量在 cpu 上，可以按下面代碼所示這么寫：

a?=?torch.DoubleTensor([1.,?2.])

變量?a?將保持在 cpu 上，并在 cpu 上進行各種運算，如果希望將它轉(zhuǎn)換到 gpu 上，需要采用?.cuda?，可以有以下兩種實現(xiàn)方法

#?方法1 a?=?torch.FloatTensor([1.,?2.]).cuda() #?方法2 a?=?torch.cuda.FloatTensor([1.,?2.])

這種做法會選擇默認的第一個 GPU，查看方式有下面兩種：

#?方法1 torch.cuda.current_device() #?0#?方法2 a.get_device() #?0

另外，也可以在 GPU 上運行模型，例子如下所示，簡單使用?nn.Sequential?定義一個模型：

sq?=?nn.Sequential(nn.Linear(20,?20),nn.ReLU(),nn.Linear(20,?4),nn.Softmax() )

然后放到 GPU 上運行：

model?=?sq.cuda()

怎么判斷模型是否在 GPU 上運行呢，可以通過下述方法查看模型的參數(shù)是否在 GPU 上來判斷：

#?From?the?discussions?here:?discuss.pytorch.org/t/how-to-check-if-model-is-on-cuda #?參考?https://discuss.pytorch.org/t/how-to-check-if-model-is-on-cuda/180next(model.parameters()).is_cuda #?True

4. 有多個 GPU 的時候，如何選擇和使用它們

假設(shè)有 3 個 GPU ，我們可以初始化和分配?tensors?到任意一個指定的 GPU 上，代碼如下所示，這里分配?tensors?到指定 GPU 上，有 3 種方法：

• 初始化 tensor 時，指定參數(shù)?device

• .to(cuda_id)

• .cuda(cuda_id)

cuda0?=?torch.device('cuda:0') cuda1?=?torch.device('cuda:1') cuda2?=?torch.device('cuda:2')#?如果只是采用?.cuda()?方法，默認是放到?cuda:0?的?GPU?上 #?下面是?3?種實現(xiàn)方法 x?=?torch.Tensor([1.,?2.],?device=cuda1) #?Or x?=?torch.Tensor([1.,?2.]).to(cuda1) #?Or x?=?torch.Tensor([1.,?2.]).cuda(cuda1)#?修改默認的設(shè)備方法，輸入希望設(shè)置為默認設(shè)備的?id torch.cuda.set_device(2)? #?調(diào)用環(huán)境變量?CUDA_VISIBLE_DEVICES，可以設(shè)置想采用的?GPU?的數(shù)量和哪幾個?GPU import?os os.environ["CUDA_VISIBLE_DEVICES"]?=?"0,2"

當你有多個 GPU 的時候，就可以將應用的工作劃分，但這里存在相互之間交流的問題，不過如果不需要頻繁的交換信息，那么這個問題就可以忽略。

實際上，還有另一個問題，在?PyTorch?中所有 GPU 的運算默認都是異步操作。但在 CPU 和 GPU 或者兩個 GPU 之間的數(shù)據(jù)復制是需要同步的，當你通過函數(shù)?torch.cuda.Stream()?創(chuàng)建自己的流時，你必須注意這個同步問題。

下面是官方文檔上一個錯誤的示例：

cuda?=?torch.device('cuda') #?創(chuàng)建一個流 s?=?torch.cuda.Stream()?? A?=?torch.empty((100,?100),?device=cuda).normal_(0.0,?1.0) with?torch.cuda.stream(s):#?because?sum()?may?start?execution?before?normal_()?finishes!#?sum()?操作可能在?normal_()?結(jié)束前就可以執(zhí)行了B?=?torch.sum(A)

如果想完全利用好多 GPU，應該按照如下做法：

將所有 GPU 用于不同的任務或者應用；

在多模型中，每個 GPU 應用單獨一個模型，并且各自有預處理操作都完成好的一份數(shù)據(jù)拷貝；

每個 GPU 采用切片輸入和模型的拷貝，每個 GPU 將單獨計算結(jié)果，并將結(jié)果都發(fā)送到同一個 GPU 上進行進一步的運算操作。

5. 數(shù)據(jù)并行

數(shù)據(jù)并行的操作要求我們將數(shù)據(jù)劃分成多份，然后發(fā)送給多個 GPU 進行并行的計算。

PyTorch 中實現(xiàn)數(shù)據(jù)并行的操作可以通過使用?torch.nn.DataParallel。

下面是一個簡單的示例。要實現(xiàn)數(shù)據(jù)并行，第一個方法是采用?nn.parallel?中的幾個函數(shù)，分別實現(xiàn)的功能如下所示：

復制(Replicate)：將模型拷貝到多個 GPU 上；

分發(fā)(Scatter)：將輸入數(shù)據(jù)根據(jù)其第一個維度(通常就是 batch 大小)劃分多份，并傳送到多個 GPU 上；

收集(Gather)：從多個 GPU 上傳送回來的數(shù)據(jù)，再次連接回一起；

并行的應用(parallel_apply)：將第三步得到的分布式的輸入數(shù)據(jù)應用到第一步中拷貝的多個模型上。

實現(xiàn)代碼如下所示：

#?Replicate?module?to?devices?in?device_ids replicas?=?nn.parallel.replicate(module,?device_ids) #?Distribute?input?to?devices?in?device_ids inputs?=?nn.parallel.scatter(input,?device_ids) #?Apply?the?models?to?corresponding?inputs outputs?=?nn.parallel.parallel_apply(replicas,?inputs) #?Gather?result?from?all?devices?to?output_device result?=?nn.parallel.gather(outputs,?output_device)

實際上，還有一個更簡單的也是常用的實現(xiàn)方法，如下所示，只需一行代碼即可：

model?=?nn.DataParallel(model,?device_ids=device_ids) result?=?model(input)

6. 數(shù)據(jù)并行的比較

根據(jù)文章 https://medium.com/@iliakarmanov/multi-gpu-rosetta-stone-d4fa96162986 以及 Github：https://github.com/ilkarman/DeepLearningFrameworks 得到的不同框架在采用單個 GPU 和 4 個 GPU 時運算速度的對比結(jié)果，如下所示：

從圖中可以看到數(shù)據(jù)并行操作盡管存在多 GPU 之間交流的問題，但是提升的速度還是很明顯的。而?PyTorch?的運算速度僅次于?Chainer?，但它的數(shù)據(jù)并行方式非常簡單，一行代碼即可實現(xiàn)。

7. torch.multiprocessing

torch.multiprocessing?是對 Python 的?multiprocessing?模塊的一個封裝，并且百分比兼容原始模塊，也就是可以采用原始模塊中的如?Queue?、Pipe、Array?等方法。并且為了加快速度，還添加了一個新的方法--share_memory_()，它允許數(shù)據(jù)處于一種特殊的狀態(tài)，可以在不需要拷貝的情況下，任何進程都可以直接使用該數(shù)據(jù)。

通過該方法，可以共享?Tensors?、模型的參數(shù)?parameters?，可以在 CPU 或者 GPU 之間共享它們。

下面展示一個采用多進程訓練模型的例子：

#?Training?a?model?using?multiple?processes: import?torch.multiprocessing?as?mp def?train(model):for?data,?labels?in?data_loader:optimizer.zero_grad()loss_fn(model(data),?labels).backward()optimizer.step()??#?This?will?update?the?shared?parameters model?=?nn.Sequential(nn.Linear(n_in,?n_h1),nn.ReLU(),nn.Linear(n_h1,?n_out)) model.share_memory()?#?Required?for?'fork'?method?to?work processes?=?[] for?i?in?range(4):?#?No.?of?processesp?=?mp.Process(target=train,?args=(model,))p.start()processes.append(p) for?p?in?processes:?p.join()

更多的使用例子可以查看官方文檔：

https://pytorch.org/docs/stable/distributed.html

參考：

https://documen.tician.de/pycuda/

https://pytorch.org/docs/stable/notes/cuda.html

https://discuss.pytorch.org/t/how-to-check-if-model-is-on-cuda

https://pytorch.org/tutorials/beginner/blitz/data_parallel_tutorial.html

https://medium.com/@iliakarmanov/multi-gpu-rosetta-stone-d4fa96162986

---

歡迎關(guān)注我的微信公眾號--算法猿的成長，或者掃描下方的二維碼，大家一起交流，學習和進步！

如果覺得不錯，在看、轉(zhuǎn)發(fā)就是對小編的一個支持！

總結(jié)

以上是生活随笔為你收集整理的PyTorch系列 | 如何加快你的模型训练速度呢？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。