docker掛載NVIDIA顯卡運行pytorch

本文爲做者原創，轉載請註明出處（http://www.cnblogs.com/mar-q/）by 負贔屓

 

寫在前面：

　　請參考以前的文章安裝好CentOS、NVIDIA相關驅動及軟件、docker及加速鏡像。

　　主機運行環境

$ uname -a
Linux CentOS 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
$ cat /usr/local/cuda/version.txt
CUDA Version 8.0.61
$ cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
#define CUDNN_MAJOR      6
#define CUDNN_MINOR      0
#define CUDNN_PATCHLEVEL 21
#define CUDNN_VERSION    (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)
#include "driver_types.h"
# NVIDIA 1080ti

 

1、關於GPU的掛載

1. 在docker運行時指定device掛載

　　先查看一下有哪些相關設備

$ ls -la /dev | grep nvidia
crw-rw-rw-   1 root root    195,   0 Nov 15 13:41 nvidia0
crw-rw-rw-   1 root root    195,   1 Nov 15 13:41 nvidia1
crw-rw-rw-   1 root root    195, 255 Nov 15 13:41 nvidiactl
crw-rw-rw-   1 root root    242,   0 Nov 15 13:41 nvidia-uvm
crw-rw-rw-   1 root root    242,   1 Nov 15 13:41 nvidia-uvm-tools

　　電腦上裝了兩個顯卡。我須要運行pytorch，dockerhub中pytorch官方鏡像沒有gpu支持，因此只能先pull一個anaconda鏡像試試，後面能夠編排成Dockerfile。

$ docker run -it -d --rm --name pytorch -v /home/qiyafei/pytorch:/mnt/home --privileged=true --device /dev/nvidia-uvm:/dev/nvidia-uvm --device /dev/nvidia1:/dev/nvidia1 --device /dev/nvidiactl:/dev/nvidiactl okwrtdsh/anaconda3 bash

　　okwrtdsh的鏡像彷佛是針對他們實驗室GPU環境的，有點過大了，不過勉強運行一下仍是能夠的。 在容器內部還須要安裝pytorch：

$ conda install pytorch torchvision -c pytorch

　　這裏運行torch成功，可是加載顯卡失敗了，可能仍是由於驅動不匹配的緣由吧， 須要從新安裝驅動，暫時不作此嘗試；

 

2、經過nvidia-docker在docker內使用顯卡

詳細信息：https://github.com/NVIDIA/nvidia-docker

（1）安裝nvidia-docker

　　nvidia-docker實際上是docker引擎的一個應用插件，專門面向NVIDIA GPU，由於docker引擎是不支持NVIDIA驅動的，安裝插件後能夠在用戶層上直接使用cuda。具體看上圖。這個圖很形象，docker引擎的運行機制也表現出來了，就是在系統內核之上經過cgroup和namespace虛擬出一個容器OS的用戶空間，我不清楚這是否運行在ring0上，可是cuda和應用確實可使用了（虛擬化的問題，若是關心此類問題能夠了解一些關於docker、kvm等等虛擬化的實現方式，目前是系統類比較火熱的話題）

　　下載rpm包：https://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.1/nvidia-docker-1.0.1-1.x86_64.rpm

　　這裏也能夠經過添加apt或者yum sourcelist的方式進行安裝，可是我沒有root權限，並且update容易引發docker重啓，若是不是實驗室的我的環境不推薦這麼作，防止破壞別人正在運行的程序（以前公司一個小夥子就是在阿里雲上進行了yum update，結果致使公司部分業務停了一個上午）。

$ sudo rpm -i nvidia-docker-1.0.1-1.x86_64.rpm && rm nvidia-docker-1.0.1-1.x86_64.rpm
$ sudo systemctl start nvidia-docker

（2）容器測試

　　咱們還須要NVIDIA官方提供的docker容器nvidia/cuda，裏面已經編譯安裝了CUDA和CUDNN，或者直接run，缺乏image的會自動pull。

$ docker pull nvidia/cuda
$ nvidia-docker run --rm nvidia/cuda nvidia-smi

 　　在容器內測試是能夠成功使用nvidia顯卡的：

（3）合適的鏡像或者自制dockerfile

• 合適的鏡像：這裏推薦Floydhub的pytorch，注意對應的cuda和cudnn版本。

docker pull floydhub/pytorch:0.3.0-gpu.cuda8cudnn6-py3.22
nvidia-docker run -ti -d --rm floydhub/pytorch:0.3.0-gpu.cuda8cudnn6-py3.22 bash

• 自制dockerfile

　　首先，咱們須要把要裝的東西想清楚：

　　1. 基礎鏡像確定是NVIDIA官方提供的啦，最省事，不用裝cuda和cudnn了；

　　2. vim、git、lrzsz、ssh這些確定要啦；

　　3. anaconda、pytorch確定要啦；

　　因此須要準備好國內源source.list，不然安裝速度很慢。

deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties
deb http://archive.canonical.com/ubuntu xenial partner
deb-src http://archive.canonical.com/ubuntu xenial partner
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties
deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse

　　下載anaconda的地址：https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh，這裏直接在Dockerfile裏下了，具體以下：

$ vim Dockerfile

FROM nvidia/cuda
LABEL author="qyf"
ENV PYTHONIOENCODING=utf-8
RUN mv /etc/apt/sources.list /etc/apt/sources.list.bak
ADD $PWD/sources.list /etc/apt/sources.list
RUN apt-get update --fix-missing && \
    apt-get install -y vim net-tools curl wget git bzip2 ca-certificates libglib2.0-0 libxext6 libsm6 libxrender1 mercurial subversion apt-transport-https software-properties-common
RUN apt-get install -y openssh-server -y
RUN echo 'root:passwd' | chpasswd
RUN sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed -i 's/#PasswordAuthentication yes/PasswordAuthentication yes/' /etc/ssh/sshd_config
RUN echo 'export PATH=/opt/conda/bin:$PATH' > /etc/profile.d/conda.sh && wget --quiet https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh -O ~/anaconda.sh && /bin/bash ~/anaconda.sh -b -p /opt/conda && rm ~/anaconda.sh
ENV PATH /opt/conda/bin:$PATH
RUN conda install pytorch torchvision -c pytorch -y
ENTRYPOINT [ "/usr/bin/tini", "--" ]
CMD [ "/bin/bash" ]

　　經過docker build構造鏡像:

docker build -t pytorch/cuda8 ./

　　運行成功調用cuda。

 

　　

3、關於一些bug

　　這裏有部分debian的配置，我照着dockerhub上anaconda鏡像抄的，這裏就再也不配置了，反正跑起來後有鏡像也能夠用。系統隨後可能會出現錯誤：

kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1

　　這是一個Ubuntu的內核錯誤，截止到到目前爲止彷佛還沒徹底解決。

　　這個小哥給出了一個解決方案，至少他給出的錯誤緣由我是相信的：是由內核的TCP套接字錯誤引起的。這裏我給出一些思考，關於上面的結構圖，在顯卡上，經過nvidia-docker，docker之上的容器可使用到底層顯卡（驅動顯然是在docker之下的），而TCP套接字，我猜想也是這種使用方法，而虛擬出來的dockerOS，應該是沒有權限來訪問宿主機內核的，至少內核限制了部分權限。這位小哥給出了測試內核，若是有興趣能夠去幫他測試一下：https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1711407/comments/46。