遊戲中的機器學習——經過創造AI來掌控虛擬世界

做者 | CDA數據分析師
出品 | CDA數據科學研究院

在虛擬世界中，人工智能正變得愈來愈聰明、愈來愈智能。遊戲中最先出現的人工智能實例是在1952年，當時英國一名孤獨的研究生建立了一個基於規則的人工智能，能夠完美的玩一款井字遊戲。現現在，不少研究團隊正在努力-或者說已經成功創造出能夠在日益複雜的遊戲中擊敗人類的人工智能。

有兩種不一樣類型的遊戲吸引了計算機科學家，軟件開發人員和機器學習研究人員的興趣：一種是徹底信息遊戲，也就是玩家在任什麼時候候都知道遊戲的全部方面; 另外一種是信息不徹底的遊戲，也就是玩家在遊戲中只知道遊戲的一些方面,其餘的則徹底不知道,須要本身探索。雖然這兩類遊戲種類都有着很複雜的遊戲，但玩家在遊戲中所了信息的這種差別對於人工智能如何處理遊戲有着很是重要的影響。

繼續閱讀下去，瞭解研究人員如何在遊戲中使用機器學習來建立更強大的人工智能，以及研究人員如何利用從這些虛擬世界中學到的能力來征服其餘領域。做爲一個有趣的預覽，這裏是一個名爲MarI / O的人工神經網絡的演示，它是由前微軟工程師Seth Hendrickson建立，學習如何征服超級馬里奧中的關卡。

徹底信息遊戲中的機器學習

在國際象棋和圍棋中，兩位玩家均可以看到整個棋盤以及棋盤上每一塊棋子的位置。在Super Smash Bros.電子遊戲中，戰鬥人員能夠在任何給定時間查看整個地圖以及其餘戰鬥員的確切位置。機器在這些類型的遊戲中表現出色，而且目前（或很快將）會以壓倒性的優點超過最優秀的人類玩家。在不太複雜的遊戲中，現代計算機能夠簡單地以「蠻力」記住每個可能的動做序列。例如，在2007年，一位計算機科學家證實，若是雙方都玩的很好,那麼跳棋遊戲老是會以平局了結。

更使人感興趣的是,遊戲中可能出現的位置數量太大，甚至超級計算機也沒法使用簡單的"蠻力"進行計算。具體技術因遊戲而異，因此咱們將着眼於一些關於機器學習的案例研究,這些案例都是關於流行的棋盤遊戲和徹底信息的電子遊戲。

國際象棋

在1950年的一篇開創性的論文中，計算機科學家克勞德·香農(Claude Shannon)證實了,對國際象棋中可能位置數量的保守估計超過10 ^ 120，這大大超過了已知宇宙中的原子數量。即便使用現代超級計算機，也不可能用純粹的"蠻力「解決」國際象棋

1997年，IBM的超級計算機深藍(Deep Blue)在六場比賽中擊敗了世界象棋冠軍加里卡 斯帕羅夫(Garry Kasparov)，這是國際象棋界人工智能首次擊敗了人類的頂級棋手。從那時起，國際象棋計算機遠遠超過了人類的能力; 斯托克菲什是國際象棋頂級人工智能之一,其Elo評分估計超過3200,比排名第一的馬格努斯•卡爾森(Magnus Carlsen)高出近400分(至關於卡爾森水平的10倍)。。

stock fish使用蠻力和優化啓發式的組合來計算某個位置中每一個合法移動的數值計算。爲了減小每次移動時出現的大量分支選項（任何給定位置可能有25個合法移動;每一個移動可能會有下25個合法移動，依此類推），Stockfish使用稱爲Alpha-beta修剪的搜索算法來剔除掉糟糕的招數。

這種遊戲強度能夠選擇性地增長打開數據庫和遊戲結束時的桌面來增長強度，這些基本上都是遊戲開始和結束階段先計算好的移動。

雖然國際象棋近年來一直是人工智能研究的沃土，但頂級引擎已經避開了傳統的機器學習技術，轉而採用人類和機器學習的混合方式，結合了頂級人類的直觀戰略力量（編碼於啓發式）和具備計算機的原始計算能力。

這種協同方法可能在高級國際象棋中獲得了最好的模擬，高級國際象棋是一種有計算機輔助的人類相互競爭的象棋形式,其水平比單獨由人類或單獨的計算機所能達到的水平都要高。

圍棋

圍棋，在亞洲被稱爲Baduk，是一款比國際象棋更復雜的棋盤類遊戲。據美國圍棋基金會(American Go Foundation)的數據報告稱，正常的圍棋的落子的數量大約爲10 ^ 170。在過去兩年裏隨着AlphaGo的發展，Google DeepMind團隊在Go中爲計算機優點鋪平了道路，AlphaGo是一個使用深度神經網絡本身學習遊戲的人工智能（一種稱爲深度強化學習的技術）以及頂級人類玩家進行的遊戲（經典的監督學習技術）。這種強化學習強調了人類和機器學習代理的獨特優點。

人類是快速學習者 - 具備相對較小的數據集（例如，玩25個國際象棋遊戲），他們能夠在完成新任務方面顯示出顯着的進步。相反，計算機在達到相似的技能水平以前可能須要數百萬，數十億甚至數萬億的數據點，可是能本身對本身的進行對弈數百萬場遊戲並從過去的錯誤中吸收教訓的能力克服了這一弱點。

AlphaGo與Stock fish和其餘國際象棋引擎的關鍵區別在於，AlphaGo它沒有"前瞻性"的搜索算法。DeepMind經過努力最終在2016年初以4-1大勝圍棋冠軍李世石(Lee Sedol)。

以前投資DeepMind的Elon Musk指出，AlphaGo的勝利是許多專家認爲至少還須要十年才能實現的壯舉。2017年1月，谷歌透露，它一直在祕密測試AlphaGo的最新版本，以對抗頂級人類玩家; 修改後的AlphaGo並無失去任何一場比賽的冠軍。

雖然國際象棋引擎憑藉其特定於遊戲的啓發式方法，對其餘領域的瞭解極少，但AlphaGo的神經網絡主導優點能夠應用於許多其餘領域。在接受Emerj採訪時，DeepMind的Nando de Freitas描述了深度學習的許多不一樣應用，這是AlphaGo採用的主要人工智能技術。並且，在與李世石(Lee Sedol)的比賽前不久的一篇博客文章中，谷歌明確表達了對AlphaGo的雄心：

咱們很高興掌握了圍棋，從而實現了人工智能的巨大挑戰之一。然而，對咱們來講，這一切最重要的方面是AlphaGo不只僅是一個用手工製做規則構建的「專家」系統; 相反，它使用通常的機器學習技術來弄清楚如何讓本身在圍棋中獲勝。雖然遊戲是快速有效地開發和測試人工智能算法的完美平臺，但最終咱們但願將這些技術應用於重要的現實問題。由於咱們使用的方法是通用的，咱們但願有一天它們能夠擴展到幫助咱們解決一些社會最棘手和最緊迫的問題，從氣候建模到複雜的疾病分析。

超級馬里奧兄弟

超級馬里奧兄弟(Super Smash Bros.（SSB）)是一款非受歡迎的徒手格鬥遊戲系列，擁有任天堂遊戲帝國中最受歡迎的角色。它擁有一個充滿活力的競技場景，包括職業球員在按期的錦標賽中競爭五位數的獎金。在一個關鍵方面，SSB與國際象棋和圍棋不一樣：SSB是一種非輪流的遊戲。其中全部的玩家同時採起行動，因此這樣就須要在本身行動的同時預測對手的行動。

雖然有不少爲SSB開發的人工智能（包括由任天堂開發的遊戲內的人工智能），但咱們將分析限制在Smash Bot，這是一個流行的SSB 人工智能，其開源代碼庫可讓咱們更深刻地瞭解它的工做原理。Smash Bot是基於規則的專家系統的一個典型的示例。從本質上講，它是基於人工智能內置的「知識庫」的if-then語句鏈的更復雜版本。該代碼庫自述文件提供了它是如何工做的一個很好的總結：

「Smash Bot決定了4層次的目標層次：目標，策略，戰術和鏈條。每一個目標都會檢查當前的遊戲狀態，並決定哪一個較低級別的目標最適合實現它。

目標是最高級別的目標，並告知人工智能預期的整體結果應該是什麼。在比賽中擊敗對手，或瀏覽菜單以選擇咱們的角色。

策略是人工智能用於實現整體目標的最高級別的手段。例如，Smash Bot一般會採起誘使對手陷入糟糕行動的策略。

戰術是低級別的一系列可預測的狀況，咱們能夠經過實際的方法制定出咱們的路線。例如，若是敵人離開舞臺，咱們可能會選擇在邊緣守着他們,防止他們在回來。

鏈條是最低級別的目標，包括Smashers將識別的按鈕按下的「鏈」，例如Wavedash，跳過取消的Upsmash等......「

這些規則在逐幀的基礎上進行運行，足以使Smash Bot幾乎不可能被人類的頂級玩家擊敗。

Smash Bot 人工智能可以有效的在幀與幀直接進行掩護，以致於對手沒法得到任何一次命中。

儘管Smash Bot對人類具備壓倒性的優點，但其嚴格的，針對特定領域的方法對研究人員來講並非特別感興趣。Smash Bot或Stock fish永遠不會再其餘任何事情上有效; AlphaGo的方法更接近人類的思惟，也能夠更容易地應用於其餘領域。例如，DeepMind 使用深度強化學習在人類層面掌握了許多不一樣的經典Atari遊戲，證實這種方法能夠輕鬆應用於多個遊戲。