是這我的，一步步把「深度學習」從邊緣課題變成Google等網絡巨頭仰賴的核心技術

做者  Kryptoners

早在 1960 年代，Geoffrey Hinton 的高中時期，就有一個朋友告訴他，人腦的工做原理就像全息圖同樣。

建立一個 3D 全息圖，須要大量的記錄入射光被物體屢次反射的結果，而後將這些信息存儲進一個龐大的數據庫中。大腦儲存信息的方式竟然與全息圖如此相似，大腦並不是將記憶儲存在一個特定的地方，而是在整個神經網絡裏傳播。Hinton 爲此深深的着迷。

對 Hinton 來講，這是他人生的關鍵，也是他成功的起點。「我很是興奮，」他回憶到，「那是我第一次真正認識到大腦是如何工做的」。在高中時代談話的鼓舞之下，Hinton 在他的求學期間，在劍橋大學以及愛丁堡大學繼續他的神經網絡的探索。在 80 年代早期，他就參與了一個雄心勃勃的關於使用計算機的軟硬件來模擬大腦的研究，這造成了早期的 AI 的一個分支，也就是咱們如今所說的「深度學習」。

三十多年的努力，深度學習已成爲學術界煊赫一時的課題。現現在，Hinton 和他的深度學習小團隊，包括紐約大學的 Yann LeCun 教授，蒙特利爾大學的 Yoshua Bengio 教授，在互聯網上已然大有名氣。做爲多倫多大學的教授和研究員，Hinton 也同時爲 Google 工做，使用深度學習技術來改進語音識別，圖像標記和其餘在線工具。LeCun 也在 Facebook 從事相似的工做。AI 風靡全球，微軟，IBM，百度和許多網絡巨頭都爲之着迷。

在劍橋大學的心理學專業的本科學習當中，Hinton 發現，科學家們並無真正理解大腦。人類大腦有數十億個神經細胞，它們之間經過神經突觸相互影響，造成極其複雜的相互聯繫。然而科學家們並不能解釋這些具體的影響和聯繫。神經究竟是如何進行學習以及計算的，對於 Hinton，這些正是他所關心的問題。

他不知道全部的答案，但在他的努力之下已經取得了進展。「我很是興奮，咱們改進了神經網絡，而這是一個比較接近大腦真實工做的方式。」他很高興的說到。在 Hinton 的世界裏，神經網絡本質上就像一個運行在多層面上的軟件。他和他的夥伴創建了一層層互相鏈接的人工神經元模型，模仿大腦的行爲，處理視覺和語言等複雜問題。這些人工神經網絡能夠收集信息，也能夠對其作出反應。它們能對事物的外形和聲音作出解釋。它們對語言的理解也在進步。它們能夠自行學習與工做，而不須要人爲提示或者參與控制。這些正是它們與傳統的學習機器的區別。

隨着時間的推移，計算機能力的發展，神經網絡也更加快速，靈活，高效，獲得了很好的擴展。由於這一切已經醞釀了 30 年了。

從非主流到核心技術

早在 80 年代初期，當 Hinton 和他的同事們剛開始這項研究時，那時的電腦還不夠快，不足以處理有關神經網絡的這些龐大的數據，他們取得的成就是有限的。而當時 AI 廣泛的研究方向也與他們相反，都在試圖尋找捷徑，直接模擬出行爲，而不是試圖經過模仿大腦的運做來實現。

在這樣艱難的環境下，Hinton 和 LeCun 仍舊堅持了下來。就算到了 2004，學術界對他們的研究仍未提起興趣。而這時距離他們首次提出「反向傳播」算法已通過了 20 年。這個算法是他們神經網絡研究的墊腳石。但也就在這一年，靠着少許的來自 Canadian Institute for Advanced Research（CIFAR）以及 LeCun 和 Bengio 的資金支持，Hinton 創立了 Neural Computation and Adaptive Perception（NCAP，神經計算和自適應感知）項目。該項目邀請了來自計算機科學，生物，電子工程，神經科學，物理學和心理學等領域的專家參與。

精心挑選了這些研究人員，Hinton 的目的是建立一個世界一流的團隊，致力於建立生物智能的模擬——至少他打算模擬出大腦運用視覺、聽覺和書面的線索來作出理解並對它的環境作出反應這一過程。Hinton 認爲創建這樣一個小組對 AI 的研究將是一個創舉。在此以前，科學家們和工程師們各自爲政，不多與其餘領域的人合做。

事實證實他是對的。

得益於計算機能力的提升，NCAP 實現了一些早期的想法。他們按期的舉行研討會，研究步伐也加快了。最終他們創建了更有效的深度學習的算法。贏得全球 AI 界的關注，併成功的吸引到了網絡巨頭們的注意。

2011 年，NCAP 研究成員同時也是斯坦福大學的副教授 Andrew Ng 在 Google 創立並領導了 Google Brain 項目，今天，Google 正在用神經網絡來幫助識別 Android 手機上的語音命令和 Google+ 網絡上標記的圖像。去年，Hinton與其餘多倫多大學的研究人員加盟了Google，目的就是要把這項工做作進一步的發展。

與此同時，百度也在中國和硅谷建立了本身的 AI 實驗室。微軟也把深度學習技術用到了本身的語音識別研究上頭。而有了 LeCun，Facebook 也在進一步探索定向廣告和人臉識別技術。

另外一個 NCAP 研究成員，Terry Sejnowski 則正在幫助奧巴馬實施他斥資 1 億美圓的「腦計劃」（全稱：推動創新神經技術腦研究計劃）。Sejnowski 正是與 Hinton 一塊兒在 80 年代初發明瞭玻爾茲曼機的人，這但是最先的生成式隨機神經網絡之一。

只用了一年，Hinton 和他的團隊就讓 CIFAR 看到他們的投資會有多麼豐厚的回報。而 Google 已經嚐到了甜頭。在這個過程當中，Hinton 和 NCAP 已然讓人另眼相看。相比傳統的工程技術，大學生們更樂意去從事深度學習的研究，來自阿姆斯特丹大學的計算機科學教授 Max Welling 如是說，「就算是遠在荷蘭的大學生，他們也知道正在發生什麼事，他們都想投奔到這個行業來呢。」

換句話說，深度學習是目前的主流。「咱們再也不是極端分子了，」Hinton 說，「咱們如今但是煊赫一時的核心技術呢。 」

Hinton和深度學習的將來

秋季，NCAP 在舊金山舉行了年度研討會。該研討會探討範圍普遍，包括了神經系統科學，機器學習，計算機圖形設計，面部識別和運動檢測等方面。在演講途中，Hinton 靜靜的站在講臺附近，大多數狀況下，他只是聆聽，只是偶爾打斷演講者提出一兩個問題，或鼓勵他的智囊團提出問題並及時討論。他的冷靜、謙遜與公平，對 NCAP 的成員來講，創建了一個良好的開放合做的氛圍，這給他們帶來了鼓勵，也直接推動了世界的 AI 研究工做。

深度學習的革命是早晚會發生的，但有了 NCAP，有了 Hinton，微軟、Google、雅虎等網絡巨頭在語音識別、人工視覺系統等方面的發展就提早了許多。「Geoff 就像正能量，每一個人都想向他看齊。」Bruno Olshausen，加州大學伯克利分校的 Redwood 神經系統科學研究中心的主任如是評價。

即使不是 NCAP 的成員也對此表示贊成。 「在過去的 20 到 30 年裏，他一直在推進着神經網絡和深度學習在前進，」餘凱，百度深度學習研究院副院長提到，「在此以前，機器學習或者 AI 技術從未如此對行業產生過如此迅猛的影響。」

Hinton 也在世界範圍進行深度學習的演講，他在多倫多大學依然指導着研究生工做。經過 NCAP 和 CIFAR，Hinton 還創辦了一個暑期學校，由 NCAP 的成員進行教學，努力培養新一代的 AI 研究員。如今有了這麼多的公司進軍該領域，事情可比之前好辦多了。這領域也不只僅是科技巨頭的專利了，像 Ersatz, Expect Labs 和 Declara 這樣的公司，正在起步。

深度學習下一步會朝着什麼方向呢？首要的應該是破譯人們發佈到網絡上的話吧，包括那些狀態的更新，即時消息和評論等。這些就有夠 Facebook，Google 和雅虎公司忙上一陣了，他們的目標就是在沒有人工的狀況下真正理解他們的用戶到底在說什麼。

「咱們但願把 AI 和 CIFAR 帶到一個美妙的新領域，」Hinton 說，「一個尚未人或者程序到達的境界。」

那是要去哪裏呢？

 

轉自 ： http://www.36kr.com/p/209216.html?ref=related