from：docker掛載NVIDIA顯卡運(yùn)行pytorch
寫在前面：

請(qǐng)參考之前的文章安裝好CentOS、NVIDIA相關(guān)驅(qū)動(dòng)及軟件、docker及加速鏡像。 主機(jī)運(yùn)行環(huán)境 $ uname -a Linux CentOS 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux $ cat /usr/local/cuda/version.txt CUDA Version 8.0.61 $ cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 #define CUDNN_MAJOR 6 #define CUDNN_MINOR 0 #define CUDNN_PATCHLEVEL 21 #define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL) #include "driver_types.h" # NVIDIA 1080ti 一、關(guān)于GPU的掛載 1. 在docker運(yùn)行時(shí)指定device掛載 先查看一下有哪些相關(guān)設(shè)備 $ ls -la /dev | grep nvidia crw-rw-rw- 1 root root 195, 0 Nov 15 13:41 nvidia0 crw-rw-rw- 1 root root 195, 1 Nov 15 13:41 nvidia1 crw-rw-rw- 1 root root 195, 255 Nov 15 13:41 nvidiactl crw-rw-rw- 1 root root 242, 0 Nov 15 13:41 nvidia-uvm crw-rw-rw- 1 root root 242, 1 Nov 15 13:41 nvidia-uvm-tools

　　電腦上裝了兩個(gè)顯卡。我需要運(yùn)行pytorch，dockerhub中pytorch官方鏡像沒有g(shù)pu支持，所以只能先pull一個(gè)anaconda鏡像試試，后面可以編排成Dockerfile。

$ docker run -it -d --rm --name pytorch -v /home/qiyafei/pytorch:/mnt/home --privileged=true --device /dev/nvidia-uvm:/dev/nvidia-uvm --device /dev/nvidia1:/dev/nvidia1 --device /dev/nvidiactl:/dev/nvidiactl okwrtdsh/anaconda3 bash okwrtdsh的鏡像似乎是針對(duì)他們實(shí)驗(yàn)室GPU環(huán)境的，有點(diǎn)過(guò)大了，不過(guò)勉強(qiáng)運(yùn)行一下還是可以的。在容器內(nèi)部還需要安裝pytorch： $ conda install pytorch torchvision -c pytorch 這里運(yùn)行torch成功，但是加載顯卡失敗了，可能還是因?yàn)轵?qū)動(dòng)不匹配的原因吧，需要重新安裝驅(qū)動(dòng)，暫時(shí)不做此嘗試； 二、通過(guò)nvidia-docker在docker內(nèi)使用顯卡 詳細(xì)信息：https://github.com/NVIDIA/nvidia-docker （1）安裝nvidia-docker nvidia-docker其實(shí)是docker引擎的一個(gè)應(yīng)用插件，專門面向NVIDIA GPU，因?yàn)閐ocker引擎是不支持NVIDIA驅(qū)動(dòng)的，安裝插件后可以在用戶層上直接使用cuda。具體看上圖。這個(gè)圖很形象，docker引擎的運(yùn)行機(jī)制也表現(xiàn)出來(lái)了，就是在系統(tǒng)內(nèi)核之上通過(guò)cgroup和namespace虛擬出一個(gè)容器OS的用戶空間，我不清楚這是否運(yùn)行在ring0上，但是cuda和應(yīng)用確實(shí)可以使用了（虛擬化的問(wèn)題，如果關(guān)心此類問(wèn)題可以了解一些關(guān)于docker、kvm等等虛擬化的實(shí)現(xiàn)方式，目前是系統(tǒng)類比較火熱的話題） 下載rpm包：https://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.1/nvidia-docker-1.0.1-1.x86_64.rpm 這里也可以通過(guò)添加apt或者yum?sourcelist的方式進(jìn)行安裝，但是我沒有root權(quán)限，而且update容易引起docker重啟，如果不是實(shí)驗(yàn)室的個(gè)人環(huán)境不推薦這么做，防止破壞別人正在運(yùn)行的程序（之前公司一個(gè)小伙子就是在阿里云上進(jìn)行了yum update，結(jié)果導(dǎo)致公司部分業(yè)務(wù)停了一個(gè)上午）。 $ sudo rpm -i nvidia-docker-1.0.1-1.x86_64.rpm && rm nvidia-docker-1.0.1-1.x86_64.rpm $ sudo systemctl start nvidia-docker （2）容器測(cè)試 我們還需要NVIDIA官方提供的docker容器nvidia/cuda，里面已經(jīng)編譯安裝了CUDA和CUDNN，或者直接run，缺少image的會(huì)自動(dòng)pull。 $ docker pull nvidia/cuda $ nvidia-docker run --rm nvidia/cuda nvidia-smi

?　　在容器內(nèi)測(cè)試是可以成功使用nvidia顯卡的：

（3）合適的鏡像或者自制dockerfile

• 合適的鏡像：這里推薦Floydhub的pytorch，注意對(duì)應(yīng)的cuda和cudnn版本。

docker pull floydhub/pytorch:0.3.0-gpu.cuda8cudnn6-py3.22 nvidia-docker run -ti -d --rm floydhub/pytorch:0.3.0-gpu.cuda8cudnn6-py3.22 bash

• 自制dockerfile

首先，我們需要把要裝的東西想清楚： 1. 基礎(chǔ)鏡像肯定是NVIDIA官方提供的啦，最省事，不用裝cuda和cudnn了； 2. vim、git、lrzsz、ssh這些肯定要啦； 3. anaconda、pytorch肯定要啦； 所以需要準(zhǔn)備好國(guó)內(nèi)源source.list，否則安裝速度很慢。 deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial universe deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties deb http://archive.canonical.com/ubuntu xenial partner deb-src http://archive.canonical.com/ubuntu xenial partner deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse 下載anaconda的地址：https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh，這里直接在Dockerfile里下了，具體如下： $ vim Dockerfile

FROM nvidia/cuda LABEL author="qyf" ENV PYTHONIOENCODING=utf-8 RUN mv /etc/apt/sources.list /etc/apt/sources.list.bak ADD $PWD/sources.list /etc/apt/sources.list RUN apt-get update --fix-missing && \apt-get install -y vim net-tools curl wget git bzip2 ca-certificates libglib2.0-0 libxext6 libsm6 libxrender1 mercurial subversion apt-transport-https software-properties-common RUN apt-get install -y openssh-server -y RUN echo 'root:passwd' | chpasswd RUN sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config RUN sed -i 's/#PasswordAuthentication yes/PasswordAuthentication yes/' /etc/ssh/sshd_config RUN echo 'export PATH=/opt/conda/bin:$PATH' > /etc/profile.d/conda.sh && wget --quiet https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh -O ~/anaconda.sh && /bin/bash ~/anaconda.sh -b -p /opt/conda && rm ~/anaconda.sh ENV PATH /opt/conda/bin:$PATH RUN conda install pytorch torchvision -c pytorch -y ENTRYPOINT [ "/usr/bin/tini", "--" ] CMD [ "/bin/bash" ] 通過(guò)docker build構(gòu)造鏡像: docker build -t pytorch/cuda8 ./ 運(yùn)行成功調(diào)用cuda。 三、關(guān)于一些bug 這里有部分debian的配置，我照著dockerhub上anaconda鏡像抄的，這里就不再配置了，反正跑起來(lái)后有鏡像也可以用。系統(tǒng)隨后可能會(huì)出現(xiàn)錯(cuò)誤： kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1 這是一個(gè)Ubuntu的內(nèi)核錯(cuò)誤，截止到到目前為止似乎還沒完全解決。 這個(gè)小哥給出了一個(gè)解決方案，至少他給出的錯(cuò)誤原因我是相信的：是由內(nèi)核的TCP套接字錯(cuò)誤引發(fā)的。這里我給出一些思考，關(guān)于上面的結(jié)構(gòu)圖，在顯卡上，通過(guò)nvidia-docker，docker之上的容器可以使用到底層顯卡（驅(qū)動(dòng)顯然是在docker之下的），而TCP套接字，我猜測(cè)也是這種使用方法，而虛擬出來(lái)的dockerOS，應(yīng)該是沒有權(quán)限來(lái)訪問(wèn)宿主機(jī)內(nèi)核的，至少內(nèi)核限制了部分權(quán)限。這位小哥給出了測(cè)試內(nèi)核，如果有興趣可以去幫他測(cè)試一下：https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1711407/comments/46。

總結(jié)

以上是生活随笔為你收集整理的docker挂载NVIDIA显卡的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。