深度學習大神Hinton推翻本身30年的學術成果另造新世界

做者|胡永波

Hinton，這個以「深度學習之父」和「神經網絡先驅」響徹AI領域的名字，他的一舉一動，都是熱點導向。

當咱們遠望一位頂級人物時，除了他的學術，也許，咱們更應該關注到他的心裏與靈魂。

究竟是何等的心境，成就了這位偉大的人物。

就在最近，當這位70歲的老爺爺，絕不掩飾地勇於推翻本身花了30多年才創建起來的深度學習帝國時，我被這個偉大的靈魂感染了，感動了。

試問，當你處在人生的巔峯時，你敢不敢對本身的過去提出質疑，敢不敢勇敢地跳出溫馨區，敢不敢拋棄世俗的壓力，敢不敢在已年滿70歲高齡時從新追求新的目標？

這纔是偉大與普通在靈魂上的差異。在Hinton質樸的眼神裏，咱們看到的是日常心，卻又是那麼高處不勝寒練就的巔峯體驗。

這幾日，Hinton被刊進各大媒體的頭版頭條，是由於他的那篇Capsule論文，終於揭下了神祕的面紗。

在論文中，Capsule被Hinton大神定義爲這樣一組神經元：其活動向量所表示的是特定實體類型的實例化參數。他的實驗代表，鑑別式訓練的多層Capsule系統，在MNIST手寫數據集上表現出目前最早進的性能，而且在識別高度重疊數字的效果要遠好於CNN。

該論文無疑將是今年12月初NIPS大會的重頭戲。

不過，對於這篇論文的預熱，Hinton大神但是早有準備。

一個月前，在多倫多接受媒體採訪時，Hinton大神斷然宣稱要放棄反向傳播，讓整我的工智能從頭再造。不明就裏的媒體們頓時蒙圈很多。

8月份的時候，Hinton大神還用一場「卷積神經網絡都有哪些問題？」的演講來介紹他手中的Capsule研究，他認爲「CNN的特徵提取層與次抽樣層交叉存取，將相同類型的相鄰特徵檢測器的輸出聚集到一塊兒」是大有問題的。當時的演講中，Hinton大神可沒少提CNN之父Yann LeCun的不一樣觀點。

畢竟，當前的CNN一味追求識別率，對於圖像內容的「理解」幫助有限。而要進一步推動人工智能，讓它能像人腦同樣理解圖像內容、構建抽象邏輯，僅僅是認出像素的排序確定是不夠的，必需要找到方法來對其中的內容進行良好的表示……這就意味着新的方法和技術。

而當前的深度學習理論，自從Hinton大神在2007年（先以受限玻爾茲曼機進行訓練、再用有監督的反向傳播算法進行調優）確立起來後，除了神經網絡結構上的小修小改，不少進展都集中在梯度流上，正如知乎大V「SIY.Z」在《淺析Hinton最近提出的Capsule計劃》（zhuanlan.zhihu.com/p/29435406）時所舉的例子（爲了方便你們閱讀這篇文章，營長將具體內容附在文章末尾）：

sigmoid會飽和，形成梯度消失。因而有了ReLU。

ReLU負半軸是死區，形成梯度變0。因而有了LeakyReLU，PReLU。

強調梯度和權值分佈的穩定性，由此有了ELU，以及較新的SELU。

太深了，梯度傳不下去，因而有了highway。

乾脆連highway的參數都不要，直接變殘差，因而有了ResNet。

強行穩定參數的均值和方差，因而有了BatchNorm。

在梯度流中增長噪聲，因而有了 Dropout。

RNN梯度不穩定，因而加幾個通路和門控，因而有了LSTM。

LSTM簡化一下，有了GRU。

GAN的JS散度有問題，會致使梯度消失或無效，因而有了WGAN。

WGAN對梯度的clip有問題，因而有了WGAN-GP。

而本質上的變革，特別是針對當前CNN所無力解決的動態視覺內容、三維視覺等難題……進行更爲基礎的研究，或許真有可能另闢蹊徑。

這固然是苦力活，Hinton大神親自操刀的話，成功了會毀掉本身賴以成名的反向傳播算法和深度學習理論，失敗了則將重蹈愛因斯坦晚年「宇宙常數」的覆轍。因此，李飛飛對他在這裏的勇氣大爲讚揚：

現在Capsule的論文剛剛出來，深度學習的各路大神並無貿然對其下評論，深夜中的外媒亦還沒有就此發稿，甚至就連技術圈內一貫口水不斷的Hacker News，今天也是靜悄悄地一片。

不過，能夠確定的一點是，一個月後的NIPS大會，Capsule更進一步的效果一定會有所顯現，AI科技大本營也必定會繼續跟進這裏的進展。

至於Hinton此舉對於深度學習和整我的工智能界的後續影響，包括Yann LeCun在內的各路大神恐怕都不敢冒下結論，以營長的水平，在這裏連翻譯和解析論文都顯得多餘（論文在這裏arxiv.org/abs/1710.09…，感興趣的話可自取）。我們仍是靜等時間來驗證Hinton大神的苦心孤詣到底值不值得吧。

這正如Hinton大神在接受吳恩達採訪時所說的：

若是你的直覺很準，那你就應該堅持，最終必能有所成就；反過來你直覺很差，那堅不堅持也就無所謂了。反正你從直覺裏也找不到堅持它們的理由。

固然，營長確定是相信Hinton大神的直覺的，更是期待人工智能能在當前的水平上更進一步。

儘管意義不一樣，Hinton大神此舉卻讓營長想到了同在古稀之年的開爾文勳爵，他1900年那場關於物理學「兩朵烏雲」的演講但是「預言」得賊準：「紫外災難」讓年近不惑的普朗克爲量子力學開創了先河，「以太漂移」讓剛剛畢業的愛因斯坦開始思考狹義相對論，經典物理學的大廈就此崩塌。

那麼，人工智能上空所飄蕩的究竟是一朵「烏雲」呢？仍是一個新的時代？讓咱們拭目以待。