回顧2016年最受關注的深度學習發展歷程

2016 年，人工智能發展火熱。做爲人工智能一個重要分支的深度學習，也正在受到你們愈來愈多的關注。2016 年是深度學習高速發展的一年。在這一年中，不管是工業界、學術界仍是廣大羣衆都投身到了深度學習的洪流之中。在工業界，谷歌（Google）、臉書（Facebook）、百度、阿里巴巴等一系列國內外大公司紛紛對外公開宣佈了人工智能將做爲他們下一個戰略重心。在人才方面，繼深度學習界泰斗吳恩達（Andrew Ng）加入百度、Yann LeCun 加入臉書以後，各大 IT 公司開始哄搶學術界大牛。斯坦福大學教授、計算機視覺領域領軍人物李飛飛（Feifei Li）於今年 11 月加入谷歌；卡內基梅隆大學教授、機器學習領域頂級人物 Alex Smola 於今年 6 月加入亞馬遜（Amazon）。在工具方面，谷歌、臉書、百度、微軟、亞馬遜等公司相繼開源了各自的深度學習框架，誰能引領人工智能的潮流將成爲各大IT公司的下一個戰場。

在學術界，深度學習繼續推進着圖像識別、視頻分析、語音識別、語音合成、機器翻譯、天然語言處理、人機博弈等各個領域的發展。在 2016 年中，深度學習概念已經再也不侷限在大學實驗室或者頂級的IT公司裏，隨着 AlphaGo 打敗圍棋世界冠軍李世石、更多的無人駕駛車行駛在馬路上、Prisma 推出基於深度學習的圖像風格轉換應用、自動寫做機器人的出現等等，大衆愈來愈能切身的感覺到人工智能所帶來的改變。在下面的篇幅中，筆者將帶你們一塊兒回顧一下 2016 年深度學習領域都發生了哪些值得關注的大事。

3 月：AlphaGo 打敗李世石

在北京時間 2016 年 3 月 15 日的下午，谷歌開發的圍棋深度學習系統 AlphaGo 以總比分 4：1 打敗了韓國棋手李世石，成爲第一個在 19×19 棋盤上打敗人類圍棋冠軍的智能系統。AlphaGo 打敗李世石把深度學習的概念從學術界推向了大衆，並點燃了大衆對於人工智能的巨大熱情。雖然 AlphaGo 不是第一個打敗人類世界冠軍的系統，但 AlphaGo 的勝利絕對是人工智能歷史上的一座里程碑。

和 1997 年 IBM 的智能系統深藍（deep blue）擊敗國際象棋世界冠軍卡斯帕羅夫不一樣，徹底依靠計算機的運算速度是幾乎沒法在 19×19 的圍棋棋盤上打敗人類的。爲了在完整的圍棋棋盤上打敗人類世界冠軍，AlphaGo 須要使用更加智能的方式。深度學習技術爲這種方式提供了可能。在 AlphaGo 的核心組成部分中，估值網絡（Value Network）和走棋網絡（Policy Network）都使用到了深度學習的技術，這也是 AlphaGo 背後真正的大腦。

雖然 AlphaGo 打敗李世石將人工智能推向了一個新的高度，但它的能力也不該該被過度放大，更不該該認爲人工智能全面超越人類的時代即未來臨。由於 AlphaGo 可以解決的僅僅只是在一個特定環境中定義好的問題，要將人工智能系統真正的應用到開放環境還須要研究人員更多的努力。這也將是 AI 將來發展的方向。

4 月：TensorFlow 發佈分佈式版本

雖然 TensorFlow 已經支持分佈式，但若是類比 TensorFlow 和 Hadoop 系統，那麼 TensorFlow 至關於只實現了 Hadoop 系統中 Mapreduce 計算框架的部分。要將 TensorFlow 真正應用到真實的生產環境仍然存在門檻。爲了解決這個問題，才雲科技將 Kubernetes 與 TensorFlow 結合，經過 Kubernetes 實現了對 TensorFlow 任務的監控、調度與管理，讓 TensorFlow 的使用門檻變得更低。

爲了解決這個問題，TensorFlow 於今年 4 月發佈了版本 0.8.0。從該版本開始，TensorFlow 開始支持分佈式模型訓練。分佈式 TensorFlow 能夠極大的加速神經網絡的訓練過程，上圖展現了分佈式 TensorFlow 的加速比率。從圖中咱們能夠看到，經過 100 個 GPU 並行的方式，Inception-v3 模型的訓練速度能夠加快 65 倍，這使得原來須要半年的訓練過程能夠在不到 3 天的時間內獲得結果。這也標誌着 TensorFlow 從一個玩具變成了真正能用的工具。在 TensorFlow 0.8.0 發佈不久，DeepMind 也宣佈以後的全部系統都將基於 TensorFlow 來開發。

雖然 TensorFlow 已經支持分佈式，但若是類比 TensorFlow 和 Hadoop 系統，那麼 TensorFlow 至關於只實現了 Hadoop 系統中 MapReduce 計算框架的部分。要將 TensorFlow 真正應用到真實的生產環境仍然存在門檻。不過，將 Kubernetes 與 TensorFlow 結合，經過 Kubernetes 實現對 TensorFlow 任務的監控、管理，能夠有效解決這些問題。

6 月：Prisma 圖像風格轉換 App 上線

Prisma 是一款經過深度學習技術改變圖像風格的手機 App。該應用上線以後，在短短一個星期時間內下載量超過了七百萬次，且擁有超過一百萬的活躍用戶。該應用的推出標誌着深度學習技術不只是一門科學，它更能夠被應用於藝術領域。下圖展現了通過 Prisma 處理以後的圖片效果。Prisma 的出現將深度學習技術從高深的學術研究推到了大衆的平常生活，讓其更加普遍的被大衆所瞭解。在該軟件以後，更多圖像、視頻風格轉換（好比像臉書推出的 Caffe2Go）、自動音樂做曲等軟件被陸續推出。

7 月：谷歌智能數據中心

繼 AlphaGo 以後，谷歌的 DeepMind 團隊將深度學習的技術用在了智能數據中心上。經過加強學習（reinforcement learning），新的數據中心智能系統能夠更好的配合機器內的風扇和數據中心的空調使得既能夠保證全部機器的散熱，又能夠最大限度的下降能源的消耗。經過控制數據中心內 120 多種不一樣的設備，智能數據中心能夠節省大約 15% 的能源開銷，每一年爲谷歌節省數百萬美圓的成本。並且這只是深度學習在智能數據中心應用的開始，DeepMind 團隊還在嘗試安裝更多的傳感器和控制器使得數據中心的能源利用率能夠進一步提高。

8 月：SyntaxNet 發佈 40 種語言的語法分析模型

在今年 5 月，谷歌發佈了基於深度學習的天然語言理解（Natural Language Understanding， NLU）算法框架 SyntaxNet，而且提供了訓練好的英語語法分析器 Parsey McParseface。在隨機抽取的 Penn Treebank 新聞數據集上，該語法分析器能夠達到超過 94% 的準確率。這樣的正確率已經超過了以往全部的算法，並已經很是接近不一樣語言學家之間大約 96%-97% 的認同率。不一樣語言學家對同一句話可能有不一樣的分析，認同率刻畫了他們之間彼此認同的機率有多高，這也大體給出了計算機能夠達到的理論上限。不過這只是在文法很是規範的新聞數據集上，在谷歌從網頁上整理獲得的 Web Treebank 數據集上，Parsey McParseface 能夠達到大約 90% 的正確率。

在繼 Parsey McParseface 以後，谷歌於今年 8 月又開源了 40 種其餘語言的分析模型，而且同時支持文本分割（Text segmentation）和形態學分析（Morphological Analysis）功能。到目前爲止，經過 SyntaxNet 開源的模型已經能夠分析覆蓋全球半數以上人口的母語，並且在大部分語言上，分析的準確率都是目前全球最高的。上圖展現了使用 SyntaxNet 中文分析模型對中文句子的語法分析結果。深度學習將天然語言處理問題中最基礎的語法分析問題又向前推近了一大步。將這些模型開源將大大加速天然語言處理領域的研究進展。

9 月：谷歌上線基於深度學習的機器翻譯

今年 9 月，谷歌正式發佈了基於神經網絡的機器翻譯系統（Googel Neural Machine Translation system，GNMT）。該系統基於深度學習技術，能夠巨幅提升翻譯的準確率。與基於短語翻譯的傳統機器翻譯算法相比，基於深度學習的翻譯算法能夠直接翻譯一整句話，這能夠大大簡化翻譯系統的設計，同時更高效的利用海量訓練數據。根據谷歌的實驗結果，在主要的語言上，基於深度學習的翻譯算法能夠將翻譯結果的質量提升 55% 到 85%。下表對比了不一樣算法翻譯同一句話的結果。從這句話中，咱們能夠直觀的看到深度學習算法帶來的翻譯質量的提升。

不一樣翻譯算法的翻譯效果對比表：

從今年 9 月開始，在谷歌翻譯產品中，全部從中文到英文的翻譯請求都是由基於深度學習的翻譯系統完成。谷歌使用的基於深度學習的翻譯系統徹底是經過其開源產品 TensorFlow 實現的，該系統目前天天處理了接近兩千萬次翻譯請求。從中文翻譯成英文只是谷歌翻譯支持的一個語言對，以後谷歌還會將基於深度學習的翻譯算法應用到更多的語言對上。

11 月：DeepMind 和暴風雪公司開始在星際爭霸 2 上開展合做

在今年的 3 月，DeepMind 團隊開發的 AlphaGo 打敗人類圍棋世界冠軍不是人機博弈的終點，相反，這只是一個開始。DeepMind 在今年 11 月正式開啓了和暴風雪遊戲公司的合做，將他們下一個目標定在挑戰星際爭霸 2這款即時戰略遊戲上。相比圍棋，星際爭霸 2 是一個更加開放的環境，對於深度學習系統的設計難度又有指數級的提升。首先，雖然 19×19 的圍棋棋盤可能有多種不一樣的狀態，但星際爭霸 2 的狀態總數幾乎是無限的，再加上這款遊戲對即時性的要求，因此將對整個深度學習提出更高的要求。其次，星際爭霸2是一個信息不對稱的系統，玩家只能看到本身的地圖，這要求深度學習系統對「局勢」作出判斷。

在 BlizzCon 2016 上，暴風雪公司宣佈將開發一個對深度學習系統更加友好的 API，從而正式開啓與 DeepMind 團隊的合做。上圖的右側展現了星際爭霸 2 的正常視角，而左側展現了提供給深度學習的視角，這樣能夠方便深度學習統更好的獲取信息。相信在不遠的未來，深度學習將被更多的應用到開放環境中。深度學習系統將在更多競技運動中打敗人類的同時，也將在更多領域將人類從重複勞動中解放出來。

12 月：DeepMind Lab 開源

爲了讓深度學習系統可以本身學會如何解決複雜問題，繼 OpenAI 開源了 Universe 項目以後，DeepMind 於今年 12 月也開源了 DeepMind Lab。DeepMind Lab 是一個專門爲人工智能研究設計的第一人稱 3D 遊戲平臺。在這個遊戲平臺中，智能體（agent）須要完成相似收集水果、走迷宮、穿越有懸崖的通道、使用發射臺在空間中移動等任務。現在 DeepMind Lab 已經成爲 DeepMind 內部的一個主要研究平臺。

2017 年

相信深度學習將在如下幾個方面將實現質的突破：

深度學習將從大學實驗室和頂級 IT 公司走向大衆，更多的公司將經過深度學習技術解決實際的問題。隨着深度學習工具的開源以及技術的成熟，愈來愈多的我的和企業將享受到深度學習技術所帶來的好處。

深度學習將覆蓋更多的領域。從 2012 年深度學習突破了傳統圖像識別技術的瓶頸並取得了 ILSCRC（ImageNet Large Scale Visual Recognition Challenge）比賽的冠軍開始，深度學習能被應用到了愈來愈多的領域。在 2017 年中，筆者相信深度學習將繼續突破傳統技術的瓶頸，並將被應用到基因技術、個性化醫療、自媒體、公共安全、藝術、金融等各個領域中。

隨着 AlphaGo 打敗李世石，深度學習系統在封閉環境下又取得了突破性進展。在 2017 年，相信深度學習系統將更多的嘗試在開放環境下的應用。不管是無人車仍是智能星際爭霸2玩家或者是 DeepMind Lab 都將是深度學習在開放環境下的嘗試。

做者簡介

鄭澤宇，才雲科技（Caicloud.io）聯合創始人、首席大數據科學家。其團隊成功開發全球首個成熟的分佈式 TensorFlow 深度學習平臺（TensorFlow as a Service），解決了分佈式 TensorFlow 上手難、管理難、監控難、上線難等問題。基於此平臺，才雲大數據團隊爲安防、電商、金融、物流等多個行業提供有針對性的人工智能解決方案。歸國創業以前，鄭澤宇曾任美國谷歌高級工程師。從 2013 年加入谷歌，鄭澤宇做爲主要技術人員參與並領導了多個大數據項目。由他提出並主導的產品聚類項目用於銜接谷歌購物和谷歌知識圖譜（Knowledge Graph）數據，使得知識卡片形式的廣告逐步取代傳統的產品列表廣告，開啓了谷歌購物廣告在搜索頁面投遞的新紀元。他於 2013 年 5 月得到美國 Carnegie Mellon University（CMU）大學計算機碩士學位，期間在頂級國際學術會議上發表數篇學術論文，並得到西貝爾獎學金 （Siebel Scholarship）。