22歲時,你在幹嗎?算法
這兩天,現任Google AI掌門,傳奇通常的Jeff Dean,再次收穫膜拜和引起熱議。全因他的本科畢業論文首次曝光。網絡
這篇論文只有8頁。機器學習
卻成爲1990年的最優等本科論文,被明尼蘇達大學圖書館保存至今。學習
同時這篇論文代表,整整28年前,Jeff Dean已經在用C語言,爲神經網絡編寫並行計算的代碼。人工智能
拜Jeff Dean教的衆人又沸騰了。神經網絡
老論文,新熱議並行
有位大概很年輕的網友,看了論文以後在HackerNews上發出感慨:難以想象,Jeff Dean在1990年就開始對神經網絡感興趣。方法
一句話,引來衆多科普和追憶。總結起來,就是當時神經網絡正當紅。總結
有人感慨:「神經網絡那時候是一件大事,在1980年代後期很是熱門,那真是一段美好的時光。」數據
1990年,正值第二次AI寒冬以前,當時,神經網絡、Prolog、LISP語言、模糊邏輯都正在流行,ANN尚未被SVM等超越,日本在AI領域還大有趕超美國之勢。
後來成爲Jeff Dean同事(實習生 ^_^)的神經網絡之父Geoffrey Hinton,當時也已經有不少重要研究發表,反向傳播也出現了。
Jeff Dean這篇論文提到的兩種並行訓練方法,就都是基於反向傳播的。
網友@silverlake說,「我幾乎與Dean同齡,個人本科項目是用遺傳算法改進神經網絡。當時人工智能很流行,但不久以後冬天來了。」
1990年代早期,對神經網絡和機器學習來講是一段很是有趣的日子。當時物體識別、手寫識別等都有出現,全部進展都在快速推動,但很快資金撤走了,項目全都陷入困頓。
「幸虧後來GPU、深度反向傳播的出現,數據量開始爆炸以後,神經網絡捲土重來。」網友@dekhn說。而對於那些在第二次AI寒冬中堅守至今的人來講,顯然已經獲得了應有的回報。