[AI新知] Google大腦開源足球遊戲加強學習環境

導讀

教AI踢足球！進行足球比賽所須要掌握的傳球、防守等技巧與決策能力，對於加強學習技術來講是一大挑戰

Google大腦在GitHub上開源了足球人工智慧研究專案Google Research Football，這是一個研究加強學習的環境，目標是讓人工智慧代理掌握足球這項運動，能讓代理人控制遊戲中的足球運動員，學習互相傳球，或是進行防守等足球技巧。

加強學習在人工智慧研究領域是熱門的技術，已經被用於解決許多複雜問題上，像是機器人或是自動駕駛等應用。而將加強學習用於遊戲中，可以加速加強學習技術的發展，從較早期與人類對弈的AlphaGo，到更復雜的即時戰略遊戲並與人類對戰，像是OpenAI在遊戲Dota 2中開發OpenAI Five，與人類玩家打得勢均力敵，以及近期Deepmind開發的人工智慧AlphaStar，在星海爭霸 2中慘電職業玩家。

遊戲提供了安全且可重複的試驗環境，讓開發者快速的測試想法，而如今Google釋出的Research Football環境，則提供研究人員更有挑戰性的環境，Google提到，足球遊戲對於人工智慧是更有挑戰性的主題，由於足球須要在短時間控制的能力、學習像是傳球之類的概念，和更困難的戰術之間取得平衡。

Google Research Football環境由三個主要部分組成，包含了高度最佳化的遊戲引擎稱足球引擎（Football Engine），還有稱爲足球基準（Football Benchmarks）的一系列具挑戰性的研究問題，以及足球學院（Football Academy）提供難度漸增的加強學習情境。Football Engine能根據兩支球隊的輸入動做，模擬完整的足球比賽，像是進球、犯規或是角球等各類狀況，其採用最佳化的C++開發而成，可在通常的電腦上運做，使用六核心電腦運算，天天約可模擬球員移動2,500萬步。

這個Football Engine能良好地支援加強學習訓練，讓代理人在不一樣的狀態中進行學習，這些狀態包括表達球員位置的語意等，而且爲了讓研究人員研究隨機性對加強學習的影響，Football Engine預設啓用隨機模式，固然開發者也能夠自行選用肯定性模式進行實驗。Football Engine開箱即用，並且支援受普遍使用的OpenAI Gym API。

Google根據Football Engine的加強學習研究，提出了一系列基準問題，根據對手的實力不一樣，分爲三個版本分別是簡單、終極以及困難。Google提供了兩種熱門的演算法DQN與IMPALA，讓開發人員做爲參照，Google提到，簡單基準適合應用單一機器的演算法，而困難基準則是由分散式深度學習演算法來處理。

足球學院提供各類難度的場景，讓研究人員實現新的研究想法，以測試更高階像是傳球的概念，並從難度逐漸提高的場景中學習，習得快速在球員間快速傳球的技巧，或是反擊等技巧，Google提到，在Google Research Football環境中，只要使用簡單的API，研究人員就可以讓代理學習解決各類問題。

Google Research Football環境提供了一個深度學習研究的環境，Google提到，開發人員能夠把Football Benchmark以及Football Academy想像成互動環境中固定的一部分，待代理人得到足夠訓練後，就能加入動態另外一方進行對戰，適應對方的動態行動以及戰略，進行更有挑戰性的研究。

GitHub地址：github.com/google-rese…

獲取最新Flink、AI資訊，可長按如下二維碼關注公衆號