這是一份大家須要的Windows版深度學習軟件安裝指南

選自Github

機器之心編譯

參與：蔣思源、劉曉坤

本文從最基本的依賴項開始，依次配置了 VS 201五、Anaconda 4.4.0、CUDA 8.0.61 和 cuDNN v5.1 等基本環境，而後再從 Keras 出發安裝 Theano、TensorFlow 和 CNTK 以做爲其後端。在完成配置深度學習框架後，本文分別利用這三個框架做爲 Keras 後端在 CPU 和 GPU 上訓練了一個標準的卷積神經網絡，完成該簡單的卷積網絡也就意味着咱們完成了深度學習環境的配置。

• 從零開始：深度學習軟件環境安裝指南(Ubuntu)
• 本文GitHub地址：https://github.com/philferriere/dlwin

該配置版本最後更新的日期是今年七月，該更新版本容許本地使用 3 個不一樣的 GPU 加速後端，並添加對 MKL BLAS 庫的支持。

目前有不少幫助咱們在 Linux 或 Mac OS 上構建深度學習（DL）環境的指導文章，但不多有文章完整地敘述如何高效地在 Windows 10 上配置深度學習開發環境。此外，不少開發者安裝 Windows 和 Ubuntu 雙系統或在 Windows 上安裝虛擬機以配置深度學習環境，但對於入門者來講，咱們更但願仍是直接使用 Windows 直接配置深度學習環境。所以，本文做者 Phil Ferriere 在 GitHub 上發佈了該教程，他但願能從最基本的環境變量配置開始一步步搭建 Keras 深度學習開發環境。

若是讀者但願在 Windows 10 上配置深度學習環境，那麼本文將爲你們提供不少有利的信息。

依賴項

下面是咱們將在 Windows 10（Version 1607 OS Build 14393.222）上配置深度學習環境所須要的工具和軟件包：

1. Visual Studio 2015 Community Edition Update 3 w. Windows Kit 10.0.10240.0：用於其 C/C++編譯器（而不是 IDE）和 SDK，選擇該肯定的版本是由於 CUDA 8.0.61 所支持的 Windows 編譯器。
2. Anaconda (64-bit) w. Python 3.6 (Anaconda3-4.4.0) [for Tensorflow support] or Python 2.7 (Anaconda2-4.4.0) [no Tensorflow support] with MKL：Anaconda 是一個開源的 Python 發行版本，其包含了 conda、Python、NumPy、SciPy 等 180 多個科學包及其依賴項，是一個集成開發環境。MKL 能夠利用 CPU 加速許多線性代數運算。
3. CUDA 8.0.61 (64-bit)：CUDA 是一種由 NVIDIA 推出的通用並行計算架構，該架構使 GPU 可以解決複雜的計算問題，該軟件包能提供 GPU 數學庫、顯卡驅動和 CUDA 編譯器等。
4. cuDNN v5.1 (Jan 20, 2017) for CUDA 8.0：用於加速卷積神經網絡的運算。
5. Keras 2.0.5 with three different backends: Theano 0.9.0, Tensorflow-gpu 1.2.0, and CNTK 2.0：Keras 以 Theano、Tensorflow 或 CNTK 等框架爲後端，並提供深度學習高級 API。使用不一樣的後端在張量數學計算等方面會有不一樣的效果。

硬件

• Dell Precision T7900, 64GB RAM：Intel Xeon E5-2630 v4 @ 2.20 GHz (1 processor, 10 cores total, 20 logical processors)
• NVIDIA GeForce Titan X, 12GB RAM：Driver version: 372.90 / Win 10 64

安裝步驟

咱們可能喜歡讓全部的工具包和軟件包在一個根目錄下（如 e:\toolkits.win），因此在下文只要看到以 e:\toolkits.win 開頭的路徑，那麼咱們可能就須要當心不要覆蓋或隨意更改必要的軟件包目錄。

• Visual Studio 2015 Community Edition Update 3 w. Windows Kit 10.0.10240.0
• 下載地址：https://www.visualstudio.com/vs/older-downloads

運行下載的軟件包以安裝 Visual Studio，可能咱們還須要作一些額外的配置：

• 基於咱們安裝 VS 2015 的地址，須要將 C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin 添加到 PATH 中。
• 定義系統環境變量（sysenv variable）INCLUDE 的值爲 C:\Program Files (x86)\Windows Kits\10\Include\10.0.10240.0\ucrt
• 定義系統環境變量（sysenv variable）LIB 的值爲 C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10240.0\um\x64;C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10240.0\ucrt\x64

Anaconda 4.4.0 (64-bit) (Python 3.6 TF support / Python 2.7 no TF support))

本教程最初使用的是 Python 2.7，而隨着 TensorFlow 可做爲 Keras 的後端，咱們決定使用 Python 3.6 做爲默認配置。所以，根據咱們配置的偏好，能夠設置 e:\toolkits.win\anaconda3-4.4.0 或 e:\toolkits.win\anaconda2-4.4.0 爲安裝 Anaconda 的文件夾名。

• Python 3.6 版本的 Anaconda 下載地址：https://repo.continuum.io/archive/Anaconda3-4.4.0-Windows-x86_64.exe
• Python 2.7 版本的 Anaconda 下載地址：https://repo.continuum.io/archive/Anaconda2-4.4.0-Windows-x86_64.exe

運行安裝程序完成安裝：

如上，本教程選擇了第二個選項，但不必定是最好的。

定義一下變量並更新 PATH：

• 定義系統環境（sysenv variable）變量 PYTHON_HOME 的值爲 e:\toolkits.win\anaconda3-4.4.0
• 添加 %PYTHON_HOME%, %PYTHON_HOME%\Scripts 和 %PYTHON_HOME%\Library\bin 到 PATH 中

建立 dlwin36 conda 環境

在安裝 Anaconda 後，打開 Windows 命令窗口並執行：

#使用如下命令行建立環境

如上所示，使用 active dlwin36 命令激活這個新的環境。若是已經有了舊的 dlwin36 環境，能夠先用 conda env remove -n dlwin36 命令刪除。既然打算使用 GPU，爲何還要安裝 CPU 優化的線性代數庫如 MKL 呢？在咱們的設置中，大多數深度學習都是由 GPU 承擔的，這並沒錯，但 CPU 也不是無所事事。基於圖像的 Kaggle 競賽一個重要部分是數據加強。如此看來，數據加強是經過轉換原始訓練樣本（利用圖像處理算子）得到額外輸入樣本（即更多的訓練圖像）的過程。基本的轉換好比下采樣和均值歸 0 的歸一化也是必需的。若是你以爲這樣太冒險，能夠試試額外的預處理加強（噪聲消除、直方圖均化等等）。固然也能夠用 GPU 處理並把結果保存到文件中。然而在實踐過程當中，這些計算一般都是在 CPU 上平行執行的，而 GPU 正忙於學習深度神經網絡的權重，何況加強數據是用完即棄的。所以，咱們強烈推薦安裝 MKL，而 Theanos 用 BLAS 庫更好。

CUDA 8.0.61 (64-bit)

從英偉達網站下載 CUDA 8.0 (64-bit)：https://developer.nvidia.com/cuda-downloads

選擇合適的操做系統：

下載安裝包：

運行安裝包，安裝文件到 e:\toolkits.win\cuda-8.0.61 中：

完成安裝後，安裝包應該建立了一個名爲 CUDA_PATH 的系統環境變量（sysenv variable），而且已經添加了%CUDA_PATH%\bin 和 %CUDA_PATH%\libnvvp 到 PATH 中。檢查是否真正添加了，若 CUDA 環境變量由於一些緣由出錯了，那麼完成下面兩個步驟：

• 定義名爲 CUDA_PATH 的系統環境變量的值爲 e:\toolkits.win\cuda-8.0.61
• 添加%CUDA_PATH%\bin 和 %CUDA_PATH%\libnvvp 到 PATH 中

cuDNN v5.1 (Jan 20, 2017) for CUDA 8.0

根據英偉達官網「cuDNN 爲標準的運算如前向和反向卷積、池化、歸一化和激活層等提供高度調優的實現」，它是爲卷積神經網絡和深度學習設計的一款加速方案。

cuDNN 的下載地址：https://developer.nvidia.com/rdp/cudnn-download

咱們須要選擇符合 CUDA 版本和 Window 10 編譯器的 cuDNN 軟件包，通常來講，cuDNN 5.1 能夠支持 CUDA 8.0 和 Windows 10。

下載的 ZIP 文件包含三個目錄（bin、include、lib），抽取這三個的文件夾到%CUDA_PATH% 中。

安裝 Keras 2.0.5 和 Theano0.9.0 與 libgpuarray

運行如下命令安裝 libgpuarray 0.6.2，即 Theano 0.9.0 惟一的穩定版：

輸入如下命令安裝 Keras 和 Theano：

安裝 CNTK 2.0 後端

根據 CNTK 安裝文檔，咱們可使用如下 pip 命令行安裝 CNTK：

該安裝將致使在 conda 環境目錄下額外安裝 CUDA 和 cuDNN DLLs：

這個問題並非由於浪費硬盤空間，而是安裝的 cuDNN 版本和咱們安裝在 c:\toolkits\cuda-8.0.61 下的 cuDNN 版本不一樣，由於在 conda 環境目錄下的 DLL 將首先加載，因此咱們須要這些 DLL 移除出%PATH% 目錄：

安裝 TensorFlow-GPU 1.2.0 後端

運行如下命令行使用 pip 安裝 TensorFlow：

使用 conda 檢查安裝的軟件包

完成以上安裝和配置後，咱們應該在 dlwin36 conda 環境中看到如下軟件包列表：

爲了快速檢查上述三個後端安裝的效果，依次運行一下命令行分別檢查 Theano、TensorFlow 和 CNTK 導入狀況：

驗證 Theano 的安裝

由於 Theano 是安裝 Keras 時自動安裝的，爲了快速地在 CPU 模式、GPU 模式和帶 cuDNN 的 GPU 模式之間轉換，咱們須要建立如下三個系統環境變量（sysenv variable）：

• 系統環境變量 THEANO_FLAGS_CPU 的值定義爲：floatX=float32,device=cpu
• 系統環境變量 THEANO_FLAGS_GPU 的值定義爲：floatX=float32,device=cuda0,dnn.enabled=False,gpuarray.preallocate=0.8
• 系統環境變量 THEANO_FLAGS_GPU_DNN 的值定義爲：floatX=float32,device=cuda0,optimizer_including=cudnn,gpuarray.preallocate=0.8,dnn.conv.algo_bwd_filter=deterministic,dnn.conv.algo_bwd_data=deterministic,dnn.include_path=e:/toolkits.win/cuda-8.0.61/include,dnn.library_path=e:/toolkits.win/cuda-8.0.61/lib/x64

如今，咱們能直接使用 THEANO_FLAGS_CPU、THEANO_FLAGS_GPU 或 THEANO_FLAGS_GPU_DNN 直接設置 Theano 使用 CPU、GPU 仍是 GPU+cuDNN。咱們可使用如下命令行驗證這些變量是否成功加入環境中：

更多具體的 Theano 驗證代碼與命令請查看原文。

檢查系統環境變量

如今，不論 dlwin36 conda 環境何時激活，PATH 環境變量應該須要看起來以下面列表同樣：

使用 Keras 驗證 GPU+cuDNN 的安裝

咱們可使用 Keras 在 MNIST 數據集上訓練簡單的卷積神經網絡（convnet）而驗證 GPU 的 cuDNN 是否正確安裝，該文件名爲 mnist_cnn.py，其能夠在 Keras 案例中找到。該卷積神經網絡的代碼以下：

Keras案例地址：https://github.com/fchollet/keras/blob/2.0.5/examples/mnist_cnn.py

1. 使用帶 Theano 後端的 Keras

爲了有一個能進行對比的基線模型，首先咱們使用 Theano 後端和 CPU 訓練簡單的卷積神經網絡：

咱們如今使用如下命令行利用帶 Theano 的後端的 Keras 在 GPU 和 cuDNN 環境下訓練卷積神經網絡：

咱們看到每個 Epoch 的訓練時間只須要 16 秒，相對於使用 CPU 要 250 秒左右取得了很大的提升（在同一個批量大小的狀況下）。

2. 使用 TensorFlow 後端的 Keras

爲了激活和測試 TensorFlow 後端，咱們須要使用如下命令行：

咱們看到使用 TensorFlow 後端要比 Theano 後端在該任務上快 3 倍左右，它們都是用了 GPU 和 cuDNN 加速。這多是由於在該測試中它們有相同的通道等級（channel ordering），但實際上兩個平臺在這一點是不同的。所以，程序可能強制 Theano 後端從新排序數據而形成性能上的差別。但在該案例下，TensorFlow 在 GPU 上的負載一直沒有超過 70%。

3. 使用 CNTK 後端的 Keras

爲了激活和測試 CNTK 後算，咱們須要使用如下命令行：

在具體的試驗中，CNTK 一樣也十分快速，而且 GPU 負載達到了 80%。

原文連接：https://github.com/philferriere/dlwin

本文爲機器之心編譯，轉載請聯繫本公衆號得到受權。