大話深度學習之人物篇

source: http://www.hdb.com/article/4hju-PCHomeDetail.html

深度學習江湖目前有四座山頭，分別是：Geoff Hinton、Yann Lecun、Yoshua Bengio、Andrew Ng。這裏面Geoff Hinton去年加入Google搞Google Brain, Yann Lecun去年加入Facebook任人工智能研究室主任，最新的消息Andrew Ng加盟某廠搞Baidu Brain，只有Yoshua Bengio還在蒙特利爾大學潛心學術界。這裏面Yann Lecun是Hinton的博士後學生，Yann Lecun和Yoshua Bengio是AT&T的同事。Yoshua Bengio是Michael Jordon的博士後， Andrew Ng也是師從Michael Jodon而且是其的"得意門生"，此神目前是UC Berkey的統計學和ML的雙料教授，一手開創了統計機器學習這個領域，門下高人倍出，固然最有知名度的是Ng。聽說Michael Jordon當年申請Hinton的博士後被拒了，憤然出走UC Berkey，本身開宗立派，終成一代宗師。Andrew Ng在Hinton去Google以前是"Google Brain之父"，Hinton去了以後就離開Google回了stanford，而後如今再度出山，也許有其師M.J的情節在裏面也許所謂一山難容二虎吧

若是以門派論：
Jeff Hinton是深度學習的"開山祖師爺"，也是武林中的"少林派"的主持，德高望重，96年創立人工神經網絡的BP算法，驚天動地，當年被給予厚望惋惜ANN沒有發展起來後來反被搞SVM的人壓制了將近20年，聽說2006之前Hinton系的人被壓制到每一年的NIPS ICML這樣會議都發不了，由於必定會被SVM的人斃掉。終於，蟄伏良久，厚積薄發，王者歸來，2006年開始推出深度神經網絡，終於引領了這波浪潮。Google去年收購了2個深度學習的公司，一個是DNNResearch，只有三個員工分別是Hinton和他的兩個博士生。另一個是英國的DeepMind，創始人也是Hinton的博士生，傳言花了5億刀。

Yann Lecun能夠算做DL江湖的"武當派"掌門人，由於武當派的開山鼻祖"覺遠大師"也是師出少林。Yann Lecun一手創立卷積神經網絡CNN，這也是目前DL在圖像上邊發力的必備武器。去年NIPS 2013會議上，扎克伯格忽然現身，宣佈Yann Lecun被他招攬到了facebook了。Yann Lecun仍是紐約大學Data science center創始人和主任。

Yoshua Bengio, 從2006年開始，主要是Hinton、Yoshua、Yann Lecun開始發起的深度學習的浪潮，不少這個領域的牛paper都是出自Yoshua的手(並且是本身寫)。當前學習DL有力的工具PyLearn2和Theano都是出自他們實驗室。對其瞭解很少，只是以爲他的paper特別的厚並且自成體系。最近看到對他的採訪，讓他評價一下"爲何最近這些深度學習的大牛都投身工業界了?"，他的回答是："我喜歡學術界，由於我能夠選擇研究我喜歡的課題，我能夠選擇設立一個長期的目標來爲之努力，我能夠爲全人類的福祉來奮鬥而不是某一個特定公司的利益，並且我能夠很是自由的公開討論個人研究成果和進展"。不過，Yoshua會不會被某公司收攬呢，一切很差說。凡事親力親爲，門下弟子很少，淡泊名利，從這個角度看，Yoshua Bengio是應該算做"逍遙派"的"無崖子"吧。

Andrew Ng，香港出身，中文名"吳恩達", 近幾年機器學習界煊赫一時的後起之秀，年齡只有38，並且是最近才結婚(在twitter上看到他show的婚紗照了)，stanford計算機副教授 & AI Lab主任。成果無數，產出驚人，好比和David Blei 以及他們的老師Michael Jordon建立的LDA就耳熟能詳,此外還有Reinforcement Learning、Sparse coding、Bayesian network、NLP、Deep learning方面奇功無數(水平有限，沒法歸納大牛的領域)，在其主頁上粗粗瀏覽了一下有160多篇論文，基本上統治了ICML NIPS AAAI等全部相關領域國際頂級會議和頂級期刊。前兩年和D.Koller(Graphic model & Bayesian很厲害的一名女教授)合做推出了Coursera，風靡全球，讓人足不出戶就能聆聽大師講課。感受Ng在學術界和工業界都很能混的開，"Google Brain之父"完了以後就是"Baidu Brain之父"，既能"出世"又能"入世"，進退自如，恢恢乎遊刃有餘，以stanford爲據點培養了一大批博士生(好比Quoc Le如今是Google Brain的核心人員 Richard socher去年在NLP的文章也很精彩，我跟着他打了一點醬油)，劍法飄逸，涉獵深廣，最重要的是年輕，這點來看能夠算做武林屆的"令狐沖"。

那麼誰是"風清揚"呢("風清揚"和"逍遙派"的關係待考證)，必然是其師Michael Jordon了，機器學習屆的"泰山北斗"，就像在」風清揚「在華山一手開創劍宗一脈。Michael Jordon也是一手開創統計ML, 涵蓋的領域包括： Bayesian nonparametric analysis, probabilistic graphical models, spectral methods, kernel machines and signal processing, statistical genetics, computational biology, information retrieval and natural language processing(摘自其主頁介紹http://www.eecs.berkeley.edu/Faculty/Homepages/jordan.html)，正好9個領域，簡直真真是"獨孤九劍"了，讓人歎爲觀止。

Jeff Dean, 人稱互聯網戰神，Google Senior Fellow(Google工程師最高級別，這個級別就是爲Jeff Dean設立的)，締造了谷歌的不少系統和框架，極大的影響了當今互聯網、大數據的技術深度和演進。其貢獻包括：MapReduce BigTable的發明人(谷歌老三架馬車是GFS Mapreduce Bigtable)那2篇牛paper做者，Google Adsense & Adwords第一個版本做者，Five generation谷歌網頁檢索系統做者、Protocal buffer做者，分佈式操做系統創始人，Google News做者，Spanner做者，DistBelief做者(這個和深度學習相關), Google Translate創始人。大規模深度學習網絡的第一個系統算是DistBelief, 固然對外的項目名稱叫作"Google Brain". DistBelief當時用了1000臺機器、16000個核作了一個深度神經網絡(paper: large scale ditributed deep networks)，算是在工業界率先開啓超大規模深度學習網絡的先河。Jeff Dean在國外內工程師心目中簡直是神通常的存在，廣爲流傳的Jeff Dean的搞笑段子就是一個最好的說明。早期focus在編譯器、並行處理、大數據架構等系統方面，近期看到的一些產出都是在機器學習+大規模系統的方面，左手機器學習，右手無出其右的架構和系統，因此從宗師級的來看，Jeff Dean應該算全真教的"王重陽"。

固然深度學習界還有一些響噹噹的人物，好比Li Deng、Dong Yu、Kai Yu，前兩位是在微軟雷蒙德研究院，和Hinton深度合做，將DL在語音識別、語音合成上的應用提上了一個新臺階，在DL的發揚光大起了相當重要的做用。Kai Yu是國人中作DL的先驅(和如上幾位交集甚深，屬於一個圈內的人物)，某廠IDL的副廠長，一手帶動深度學習在某廠的不少領域獲得應用，好比：圖像檢索和理解、語音識別、Learning to Rank和廣告裏面的CTR prediction，也是國內DL的佈道者，將某廠的DL的知名度和影響面成功擴大到全球領域，帶動了國內DL的浪潮，可謂風頭一時無兩。

 再說說如今深度神經網絡的規模吧，最先Google的Distblief用了1000臺機器、16000核處理的網絡規模大概是10億個神經元，然後Ng回了stanford以後，用了16臺CPU Server，每一個server插4個GPU，總共是64個GPU(可是用了一個超牛逼的交換機叫作InfiniBand)，可訓練的網絡規模是112億的神經元。確實，從效率、通訊、擴展性上來說，GPU甚至是CPU+GPU是趨勢，這也是Ng很快搞出一個網絡規模更大、機器資源更省深度網絡以後能夠立刻宣稱"堆機器有什麼用，效率纔是王道"的緣由(這句話是個人杜撰，可是"Deep Learning with COTS HPC Systems"確實最後講明瞭這個工做的意義在於沒那麼多的機器照樣能夠作大規模的深度網絡)。最近看到的消息，某廠的網絡規模已經達到了200億的節點規模(這可能也是對Ng有吸引力的地方)，他們招攬了異構的專家搞異構計算，但總之GPU仍是王道。下一步呢，我本身以爲目標將會是1000億的神經元的規模，由於深度學習的一路進展是在深度更深的背景是進行的，並且到了超大規模以後有可能可以發現一些更加不同的東西，真能進入一片"不同的天空"也未可知。接下來就看google、facebook仍是baidu誰先到這個地步了，由於規模越大，對並行架構、優化算法(至少目前的aSgd基本不能work)提出史無前例的挑戰。

PS: 這篇文章純屬八卦，一些人物細節沒有詳細考證，權當看個樂:)