在 Windows 10 中使用 OpenAI Spinning Up

前段時間，openAI 發佈了 Spinning Up ,本篇博客將介紹如何在 Windows 系統中使用 Spinning Up。

什麼是 Spinning Up

先來講說 Spinning Up，Spinning Up 是由 OpenAI 發佈的，包含如下核心內容

• 強化學習技術的簡介，包含各類算法和基本理論的直觀理解；

• 一些介紹如何才能作好強化學習研究的經驗；

• 重要論文的實現，按照主題進行分類；

• 各類強化學習算法的單獨實現，它們都有很是完善的介紹文檔；

• 最後還會有一些熱身練習題。

安裝

下面就來說講最頭疼的安裝問題，官方文檔說是目前僅在 Linux 和 OSX 上支持Spinning Up，但 Windows 系統可能也可使用。本篇博客將介紹如何在 Windows 上安裝 Spinning Up。

1.WSL

1.以管理員身份打開 Power Shell，輸入

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux

安裝完成後重啓。

2.安裝 Linux Distribution of Choice

打開 Microsoft Store 並選擇您喜歡的 Linux 發行版

點擊獲取，而後安裝。安裝完成後，運行下好的 Linux

新安裝的發行版第一次運行時，將打開一個控制檯窗口，您將被要求等待一兩分鐘才能完成安裝。

而後設置用戶名和密碼

設置完後就ok了。

這裏順便給出微軟的文檔 https://docs.microsoft.com/en-us/windows/wsl/install-win10

記得按期更新軟件包目錄

sudo apt update && sudo apt upgrade

2.安裝 Xming

下載地址

後面一路默認就行了。

3.在 WSL 中使用 Xming

打開cmd，輸入 bash

鍵入

sudo apt-get install x11-apps

安裝時間有那麼點點久。。。。。。。。。。。。。。。。。。。

而後要作的操做（別一股腦的複製進去了，一行一行來，順便看看括號裏的內容）

　　 export DISPLAY=localhost:0.0 
    nano ~/.bashrc  #(add  export DISPLAY=localhost:0.0   at the end. Ctrl+X to exit/save)  這一步懂vim的應該都知道
    sudo apt-get install gnome-calculator #will get you GTK

安裝的好慢。。。。。。。。。。。。。。不知道是否是我網速的緣由，耐心等待吧

WSL有關命令查看

4.安裝 miniconda

下載地址

選擇 for Linux 的

下載好後，打開cmd，cd 到你下載的目錄，而後輸入

bash 文件名.sh

後面一直按回車便可，直到出現該界面

輸入yes後就等待安裝完成

5.安裝spinningup

bash進入linux 的terminal，而後輸入

conda create -n spinningup python=3.6

建立虛擬環境

建立完畢後輸入

source activate spinningup

而後輸入

sudo apt-get update && sudo apt-get install libopenmpi-dev

安裝OpenMPI，又是漫長的等待。。。。。。。。。。。。。。。。。。。。

安裝完成後，輸入

git clone https://github.com/openai/spinningup.git
cd spinningup
pip install -e .

（驚了，Ubuntu裏沒裝git竟然命令有效！！改天必定要去好好了解一下WSL的原理orz）

接着等上一段時間。。。。。。

到這裏就安裝完成了！

6.檢驗

安裝完成後，輸入

python -m spinup.run ppo --hid "[32,32]" --env LunarLander-v2 --exp_name installtest --gamma 0.999

來檢查是否成功安裝，大概要跑10分鐘。。。。又是漫長的等待。。。。

 

看到這裏就算成功安裝了

接下來，就開始愉快的RL之旅了，後面的學習就靠看官方文檔了。

 總結

一段愉快的踩坑之旅，還算好，沒碰上什麼大問題，除了WSL不太會用以外都還行，發現Windows還有不少未發現的高端黑科技，有空得去好好研究研究微軟的官方文檔orz。。。但願這篇博客能幫助到大部分入坑RL的研究者們。

參考文檔：

https://stackoverflow.com/questions/42605769/openai-gym-atari-on-windows/44345972#44345972

https://github.com/openai/spinningup/issues/23

Spinningup官方文檔

轉載請附上連接：http://www.javashuo.com/article/p-freeefet-bm.html