Unity ML-agents 1、初次嘗試

前言

曾在高二寒假的時候，跟表哥在外面玩，當時他問我有沒有想過之後要作什麼，我愣了一下，回答不上來。是的，從沒想過之後要作什麼，只是一直在完成學校、老師安排的任務，因而那以後半年，我一直在思考，大學要學什麼。在大二下期中以後，我以爲本身仍是對遊戲更感興趣，便想到之後想作遊戲。因而，高考後填志願，填的都是計算機專業。在大一的時候，自學了一段時間的 Unity，到大二在實驗室接觸強化學習以後，就想着用 RL 來作遊戲 AI，但後來一直在作數據挖掘相關的內容，基本上以參加比賽爲主。直到去年參加上海的谷歌開發者節，瞭解到 ML-agents 以後，就十分的想嘗試。

而後因爲疫情，直到如今還在家裏鹹魚，前段時間一邊鹹魚一邊投簡歷，奈何本身水平過低又恰恰想投算法崗，直到如今也沒有幾回面試機會 orz。最近就想繼續當年未完成的 Unity 的學習，順便學習 ML-agents，回到原點，從新出發。

初試 ML-agents

環境配置

既然要嘗試，確定免不了環境配置
目前個人環境爲：

1. Win10
2. Tensorflow 2.0
3. ML-agents 0.15.0
4. Unity 2019.3.1f1
   關於 Tensorflow 2.0 的安裝，參考我以前的博客，Unity 的安裝，推薦先下載 Unity Hub，經過 Unity Hub 能夠管理不一樣版本的 Unity，下載戳這裏

ML-agents 的安裝有兩種方式
一是直接 pip

pip install mlagents

二是從官方 github 中 clone 整個項目，而後 cd 到目錄中

pip install -e ./ml-agents-envs
pip install -e ./ml-agents

到這裏，環境配置就算完成了

跑個 Demo 先吧

在 Unity Hub 中導入剛剛從 github 上 clone 的項目

選擇 Unity 版本以後打開

而後打開 3DBall 這個場景

點擊運行的話能夠直接看到效果

接着，開始嘗試本身訓練，打開命令行，進入到以前 clone 下來的項目目錄中，並在目錄中建立一個名爲 summaries 的文件夾

而後輸入

mlagents-learn config/trainer_config.yaml --run-id=test --train

在出現圖標以後，切換到 Unity 運行項目，就能夠看見開始訓練了

能夠看出來一開的效果是不好的，徹底控制很差，此次訓練大概訓練 40w+ 步，到後面就很穩了

注：項目目錄中儘可能不要出現中文，下午在嘗試的時候一直報錯，後來更改目錄以後發現成功了，不清楚是否是路徑中有中文的緣由
報錯內容

"The Unity environment took too long to respond. Make sure that :\n"
mlagents_envs.exception.UnityTimeOutException: The Unity environment took too long to respond. Make sure that :
         The environment does not need user interaction to launch
         The Agents are linked to the appropriate Brains
         The environment and the Python interface have compatible versions.

訓練完成後，咱們能夠在 models 目錄下看到剛剛訓練好的模型，重命名一下，而後把模型拖到 TFModel 目錄中

接着打開 prefabs 中的 3DBall，點擊其中的 agent，而後將 Behavior 改爲咱們剛剛拖到 TFModel 目錄中的模型

點擊運行，發現控制的十分穩定，跟一開始差很少。至此，初試完畢。

小節

這裏咱們安裝配置了 ML-agnets 的相關環境，並運行了個 Demo 來熟悉了遍流程，後面將開始嘗試本身搭建環境，訓練 AI，也不知道能不能搗鼓出來，23333。