從零自學，AlphaZero以4個處理器，8小時訓練秒殺AlphaGo v18!

本文由 【 AI前線】原創，原文連接： t.cn/RYFc2bm

昨天，谷歌 DeepMind AlphaGo「最年幼後裔」AlphaZero 青出於藍而甚於藍，擊敗一衆棋類程序的事蹟迅速在業內擴散開。據悉，AlphaZero 在通過 8 個小時訓練後即擊敗打敗過李世石的 AlphaGo，通過 12 小時訓練後擊敗世界頂級國際象棋程序 Stockfish，通過 14 小時訓練擊敗世界頂級將棋程序 Elmo。而這只是在一聲令下，告訴系統本身走棋並自學以後就能夠作到。那麼，有沒有人對 AlphaZero 的原理感興趣？它憑什麼能輕易戰勝天下棋類程序無敵手（固然是目前）？

DeepMind 和 AlphaZero

大約三年前，Google 旗下的一家專門從事人工智能開發的公司 DeepMind，將其注意力轉移到古老的圍棋遊戲上。曾經，圍棋遊戲是全部電腦程序躋身世界級地位須要攀登的一座高峯，甚至被認爲是將來十年不會實現的目標！當電腦程序與韓國傳奇人物李世石進行公開挑戰賽時，幾乎全部人都認爲在這場別開生面的遊戲裏，人類必勝。世界頂級圍棋選手李在石的歷史記錄，讓他成爲有史以來最偉大的圍棋棋手之一。固然，此次比賽 AlphaGo 是贏或輸不重要，人們在意的是離這個神聖的目標有多接近。可是結果讓人大跌眼鏡，AlphaGo 以 4-1 打敗李世石，掀起圍棋界的革命。不能接受這個結果的精英人士，終於開始認可，雖然並非無與倫比，但 AlphaGo 是一臺好機器。

一年後，傳奇繼續，AlphaGo 的新版本與世界圍棋冠軍柯潔對戰。身爲一名年輕的中國人，他的天才與馬格納斯·卡爾森（Magnus Carlsen）不相上下。16 歲，他贏得了本身的第一個世界冠軍；17 歲，他成爲世界冠軍；19 歲，儘管表現很是好，但他仍以 0-3 敗給了 AlphaGo，證實了新 AI 的驚人能力。

許多國際象棋棋手和權威人士都想知道，在國際象棋中這個程序的效果怎樣，是否是能像在圍棋遊戲中同樣有效？圍棋由 19x19 的巨大網格組成，全部的子相同，而且不能移動，遊戲中，提早計算是徒勞的，而模式識別纔是王道。國際象棋則很是不一樣，在國際象棋中，知識和模式識別的價值毋庸置疑，但這個遊戲很是講究戰術，只要簡單地計算出對手就能夠彌補知識的缺失。不只電腦是這樣，人類也是如此。

DeepMind 戰勝圍棋冠軍以後還能作什麼呢？僅是能把比賽結果作得更好，好比把戰績從 3-0 提升到 20-0？固然不是。AlphaGo 已經成爲了一種內部測試試金石，若是想要測試一個新的自學 AI 效果如何，只須要把它丟給 AlphaGo，看孰勝孰負就能夠了。

DeepMind 訓練的最新版本 AI 被稱爲 AlphaZero，與「前輩」相比，它有幾個重要的不一樣。首先，它並無通過大量訓練，從零開始。其次，它只接受了簡單的規則，除此以外沒有任何其餘信息輸入。然而，結果卻使人震驚，在短短的三天內，徹底自學成才的 Go 程序比曾經擊敗過李世石的版本更強大，而這是以前的 AI 一年時間才能完成的。三週內，它又擊敗了曾戰勝柯潔的 AlphaGo 版本。值得注意的是是，李世石版本的 AlphaGo 使用了 48 個高度專業的處理器來建立程序，而這個新版本只用了 4 個！

                                    （AlphaGo 進階，DeepMind）

AlphaZero 自學國際象棋

挑戰國際象棋可能看起來仍然是個不一樣尋常的任務。畢竟，DeepMind 經過 Go 展現了在還沒有被解決的遊戲裏近乎革命性的突破，然而，20 年前「深藍」已經打敗了國際象棋，現現在，一款好的智能手機也能擊敗國際象棋冠軍。這樣作的意義是什麼？

           （Garry Kasparov 和 DeepMind 創始人 Demis Hassabis）

DeepMind 的創始人德米斯·哈薩比斯（Demis Hassabis）與國際象棋的淵源頗深，他自己就是一名神童，13 歲時在全球 14 歲如下象棋選手中的世界排名爲第 2，僅次於 Judit Polgar。他最終離開了國際象棋去追求其餘的東西，好比 17 歲建立本身的電腦遊戲公司。但人們仍然會有疑問：專一於國際象棋的 AlphaZero 能作到多好？它難道僅是一個聰明的，只論輸贏的 AI？仍是會有什麼特別的地方？

David Silver 教授解釋道，AlphaZero 可以獨立學習以提升算法速度，而不是依靠分析大量數據，其中，原理算法的效率是最重要的因素。

成爲一個新的範例

12 月 5 日，DeepMind 團隊在康奈爾大學發表了一篇名爲《使用通用強化學習算法自我掌握國際象棋和將棋》（《Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm》）的新論文，結果使人咋舌。AlphaZero 能作到的不只是掌握這個遊戲，並且以難以想象的方式達到了新的高度。在與 Stockfish 的對戰中，它以 64:36 的比分贏得比賽，並且是零敗績（28 勝 72 負）！

值得注意的是，Stockfish 是在運行速度快 900 倍的計算機上運行的！事實上，AlphaZero 每秒鐘計算大約 8 萬個位置，而用 64 個線程（多是一個 32 核心計算機）在 PC 上運行的 Stockfish 每秒能夠計算 7000 萬個位置。爲了更好地理解 Stockfish 如何一敗塗地，設想若是另外一個版本的 Stockfish 運行速度慢了 900 倍，這至關於大約少走棋 8 步！

《使用通用強化學習算法自我掌握國際象棋和將棋》論文中講道：「AlphaZero 經過使用其深層神經網絡更有選擇性地集中在最優變體——相似 Shannon 最初提出的更加」類人「的搜索方法上，來彌補評估數量較少的缺陷 。圖 2 表示，AlphaZero 每一個玩家以 Elo 規模計算的思考時間，與 Stockfish 和 Elmo 40 毫秒的思考時間相比的可擴展性。AlphaZero 的 MCTS 思惟時間比 Stockfish 和 Elmo 效率更高，這使得人們廣泛認爲 alpha-beta 搜索在這些領域本質上是優越的。

（此圖代表，AlphaZero 的思考時間越長，效率比 Stockfish 更優）換句話說，AlphaZero 不像如今國際象棋引擎所使用的混合強制的方法，而是向另外一個徹底不一樣的方向，選擇一種模擬人類思惟方式、極具選擇性的搜索方法。一個頂尖的玩家可能在一致性和深度上超過較弱的對手，但即便是與最弱的計算機程序相比，人類的計算能力也仍然不能望其項背，由於人類走棋依靠的是純粹的知識。儘管加里·卡斯帕羅夫（Garry Kasparov）輸給了深藍（Deep Blue），Deep Blue 每秒鐘的計算速度能夠達到 2 億個位置，咱們仍不能肯定它是否真的比 Garry Kasparov 聰明。若是 AlphaZero 真的可以使用它的理解力，讓對手 900 倍的速度仍能夠勝出，那麼它就多是一個重大的範式轉變。

AlphaZero 如何走棋？

因爲 AlphaZero 沒有接受任何關於象棋的知識，這意味着不存在博弈或開放理論，它必須依靠本身發現開放理論。並且，這只是 24 小時自學的結果。DeepMind 團隊製做了圖表，展現了它從發現開放理論，到變得更增強大的圖表。

AlphaZero 的首席科學家 David Silver 教授解釋道，AlphaZero 在圍棋遊戲中學習開放理論，並逐漸擇優棄劣，在國際象棋中也是如此。

在上面的圖表中，咱們能夠看到，在比賽初期，AlphaZero 熱衷於使用法蘭西防護（French Defense），但兩個小時後開始愈來愈少使用這種方法。

卡羅一坎防護（The Caro-Kann）的效果更好，並在 AlphaZero 的開放選擇中佔據了首要位置，直到它也逐漸被淘汰。那麼，AlphaZero 在學習過程結束時喜歡哪些開放理論？答案是英格蘭開局（The English Opening ）和後翼棄兵（Queen's Gambit）！

須要注意的是，這與通常的引擎遊戲有所不一樣。現代的國際象棋引擎專一於活動，並有特殊的保護措施，以免被逼入死角位置，由於它們的理解力有限，經常在乎識到狀況以前就陷入了死衚衕。AlphaZero 沒有這樣的問題，能夠向王蛇同樣置對手於死地，它使人印象深入的地方還在於其可以找到引擎都發現不了的策略。

將來在哪裏？

那麼，這個結果對象棋 AI 和其餘領域意味着什麼？恐怕只能用一個被濫用的詞「Game Changer」來描述了。深藍雖然能夠被視做 AI 象棋對戰的一個突破性的里程碑，但其結果是得益於專門用於對付象棋的高度專業化的硬件設備，只能玩象棋而不能玩圍棋或其餘種類的遊戲。而 AlphaZero 這種徹底開放式的人工智能，可以從最少的信息中學習，並將其提高到很高的水平，它的價值並不在於能在多少比賽中打敗人類，而是可以產生實際的用途，如分析疾病、饑荒以及其餘真正解決問題的方案。

（數月內，用於建立 AlphaGo 的革命性技術開始出如今 Go 的頂級 PC 程序中）對於國際象棋程序來講，這可能會幫助在引擎上有所突破。Go 就是這樣的，多年來，Go 程序已經沒法取得任何有意義的進展，而後出現了 AlphaGo。一篇論文詳細介紹了開發和使用 AlphaZero 的全部技術和算法，以供人們獲取信息參考追隨他們的腳步。幾個月內，Crazy Stone 等頂級程序的新版本開始提供應用了深度學習的引擎，使得效率大大提升。

文章來源：en.chessbase.com/post/the-fu…

關注咱們的微信號"AI前線"，後臺回覆「AI」可得到《AI前線》系列PDF電子書