學習筆記DL003:神經網絡第2、三次浪潮，數據量、模型規模，精度、複雜度，對現實世界衝擊

神經科學，依靠單一深度學習算法解決不一樣任務。視覺信號傳送到聽覺區域，大腦聽學習處理區域學會「看」(Von Melchner et al., 2000)。計算單元互相做用變智能。新認知機(Fukushima,1980)，哺乳動物視覺系統結構，處理圖片強大模型架構，現代卷積網絡基礎(LeCun et al., 1998c)。神經網絡基於整流線性單元(rectified linear unit)神經單元模型。原始認知機(Fukushima,1975)更復雜。簡化現代版，Nair and Hinton(2010b)和Glorot et al.(2011a) 神經科學，Jarrett et al.(2009a) 面向工程。真實神經元計算與現代整流線性單元不一樣函數，沒有提高性能。對神經科學生物學習沒有足夠了解，不能爲訓練架構學習算法提供借鑑。現代深度學習從應用數學基本內容(線性代數、機率論、信息論、數值優化)獲取靈感。計算神經科學，大腦在算法層面工做，獨立於深度學習。深度學習領域關注構建計算機系統，解決智能解決任務。計算機器神經科學關注構建大腦真實工做、精確模型。

20世紀80年代，神經網絡第二次浪潮。聯結主義(connectionism)或並行分佈處理(parallel distributed procession)(Rumelhart et al., 1986d;McClelland et al., 1995)。認知科學，理解思惟跨學科途徑，融合很少個不一樣分析層次。符號模型難解釋大腦用神經元實現推理功能。基於神經系統實現認知模型(Touretzky and Minton, 1985)。心理學家Donald Hebb，20世界40年代工做(Hebb, 1949)。聯結主義，網絡將大量簡單計算單元鏈接在一塊兒實現智能行爲。一樣適用於生物神經系統神經元。

分佈式表示(distributed representation)(Hinton et al., 1986)。系統每個輸入由多個特徵表示，每個特徵參與到多個輸入表示。反向傳播，訓練具備內部表示深度神經網絡，反向傳播算法普及(Remelhart et al., 1986c;LeCun,1987)。訓練深度模型主導方法。

20世紀90年代，Hochreiter(1991b)和Bengion et al.(1994b)，長序列建模。Hochreiter和Schmidhuber(1997)引入長短時間記憶(logn short term memory, LSTM)網絡。LSTM 序列建模任務普遍應用，Google 天然語言處理任務。

第二次浪潮持續到20世紀90年代中期，機器學習其餘領域，核方法(Boser et al., 1992; Cortes and Vapnik, 1995; Scholkopf et al., 1999)，圖模型(Jordan, 1998)在重要任務效果很好。神經網絡熱潮第二次衰退，一直持續到2007年。(LeCUN et al., 1998c; Bengio et al., 2001a)。加拿大高級研究所(CIFAR)，神經計算和自適應感知(NCAP)研究計劃，聯合Geoffrey Hinton、Yoshua Bengio、Yann LeCun領導多倫多大學、蒙特利爾大學、紐約大學機器學習研究小組。包括神經科學家、人類和計算視覺專家。20世紀80年代處法能工做得很是好，只是計算代價過高，當時可用硬件難進行足夠實驗。

神經網絡第三次浪潮，始於2006年突破。Geoffrey Hinton代表，深度信念網絡神經網絡，用貪婪逐層訓練策略可有效訓練(Hinton et al., 2006a)。一樣策略可訓練其餘類型深度網絡(Bengio and LeCun, 2007a; Ranzato et al., 2007b)，系統提升測試樣例泛化能力。普通深度學習術語。強調訓練比較深神經網絡，深度理論重要性(Bengio and LeCun,2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014)。深度神經網絡優地其餘機器學習技術及手工設計功能AI系統。第三次浪潮如今已開始着眼無監督學習技術、深度模型小數據集泛化能力。更多興趣點極是監督學習算法、深度模型充分利用大型標註數據集能力。

與日俱增數據量。訓練數據增長，所需技巧減小。複雜任務達到人類水平學習算法，與20世紀80年代解決玩具問題(toy problem)同樣。簡化極深架構訓練。成功訓練所需資源。

20世紀初，統計學家用數百或數千手動製做度量研究數據集(Garson,1900; Gosset,1908; Anderson, 1935; Fisher,1936)。20世紀50年代到80年代，受生物啓發機器學習開拓者用小合成數據集，如低分辨率字母位圖，低計算成本下代表神經網絡學習特定功能(Widrow and Hoff,1960; Rumelhart et al., 1986b)。20世紀80年代和90年代，機器學習變得更偏統計，用成千上萬個樣本更大數據集，如手寫掃描數字MNIST數據集(LeCun et al., 1998c)。21世紀第一個10年，CIFAR-10數據集(Krizhevsky and Hinton,2009)。2011-2015，數萬到數千萬樣例數據集，徹底改變深度學習可能實現。公共Street View House Numbers數據集(Netzer et al., 2011)。各類版本ImageNet數據集(Deng et al., 2009,2010a; Russakovsky et al., 2014a)。Sprots-1M數據集(Karpathy et al., 2014)。翻譯句子數據集，Canadian Hansard IBM數據集(Brown et al., 1990)。WMT 2014英法數據集(Schwentk,2014)。

社會日益數字化驅動數據集大小增長。活動在計算機，記錄，聯網，集中管理，整理機器學習數據集。監督ipwya學習算法，每類5000個標註樣本，可達到接受性能。1000萬個標註樣本數據集訓練，達到或超過人類表現。更小數據集，無監督或半監督學習未標註樣本。

MNIST數據集。「NIST」，國家標準和技術研究所(National Institute of Standards and Technology)。「M」，修改(Modified)，更容易與機器學習算法一塊兒用，數據預處理。MNIST數據集，手寫數字掃描、標籤(每一個圖像包含0~9數字)。深度學習最簡單最普遍測試。Geoffrey Hinton，機器學習果蠅。在受控實驗室條件研究算法。

與日俱增模型規模(每一個神經元鏈接數)。如今擁有計算資源可運行更大模型。聯結主義，動物不少神經元一塊兒工做變聰明。最初，人工神經網絡神經元鏈接數受限硬件能力，如今主要是出於設計考慮。

神經元總數目，神經網絡驚人的小。隱藏單元引入，人工神經網絡規模每2.4年擴大一倍。更大內存、更快計算機機、更大可用數據集驅動。更大網絡在更復雜任務實現更高精度。至少21世紀50年代，人工神經網絡才具有人腦相同數量級神經元。生物神經元表示功能比目前人工神經元表示更復雜。

感知機(Rosenblatt,1958,1962)。自適應線性單元(Widrow and Hoff,1960)。神經認知機(Fukushima，1980)。早期後向傳播網絡(Rumelhart et al., 1986b)。用於語音識別循環神經網絡(Robinson and Fallside,1991)。用於語音識別多層感知機(Bengio et al., 1991)。均勻場sigmoid信念網絡(Saul et al., 1996)。LeNet5 (LeCun et al., 1998c)。回聲壯態網絡(Jaeger and Haas,2004)。深度信念網絡(Hinton et al., 2006a)。GPU加速卷積網絡(Chellapilla et al., 2006)。深度玻爾茲曼機(Salakhutdinov and Hinton,2009a)。GPU加速深度信念網絡(Raina et al., 2009a)。無監督卷積網絡(Jarrett et al., 2009b)。GPU加速多層感知機(Ciresan et al., 2010)。OMP-1網絡(Coates and Ng,2011)。分佈式自編碼器(Le et al., 2012)。Multi-GPU卷積網絡(Krizhevsky et al., 2012a)。COTS HPC 無監督卷積網絡(Coates et al., 2013)。GoogleNet(Szegedy et al., 2014a)。

與日俱增精度、複雜度，對現實世界衝擊。最先深度模型，識別裁剪緊湊且很是小圖像單個對象(Rumelhart et al., 1986d)。神經網絡處理圖像尺寸逐漸增長。現代對象識別網絡處理豐富高分辨率照片，不須要被識別對象附近裁剪(Krizhevsky et al., 2012b)。現代網絡能識別到少1000個不一樣類別對象。ImageNet大型視覺識別挑戰(ILSVRC)，每一年舉行。卷積網絡第一次大幅贏得挑戰，前5錯誤率從26.1%降到15.3%(Krizhevsky et al.,2012b)。網絡針對每一個圖像可能類別生成順序列表，除15.3%測試樣本，其餘測試樣本正確類標出如今列表前5項。深度卷積網絡連續贏得比賽，深度學習前5錯誤率降到3.6%。Russakovsky et al.(2014b)和He et al.(2015)。

語音識別，20世紀90年代後，直到2000年停滯不前。深度學習引入(Dahl et al., 2010; Deng et al., 2010b; Seide et al., 2011; Hinton et al., 2012a)，語音識別錯誤率降低。

深度網絡行人檢測、圖像分割獲得成功(Sermanet et al., 2013; Farabet et al., 2013; Couprie et al., 2013)，交通標誌分類取得超越人類表現(Ciresan et al., 2012)。

Goodfellow et al.(2014d)，神經網絡學習輸出描述圖像整個符序列。此前，學習須要對序列每一個元素標註(Gulcehre and Bengio,2013)。循環神經網絡，LSTM序列模型，對序列和其餘序列關係建模。序列到序列學習引領機器翻譯顛覆性發展(Sutskever et al., 2014; Bahdanau et al., 2015)。

邏輯結論，神經圖靈機(Graves et al., 2014)引入，學習讀取存儲單元和向存儲單元寫入任意內容。從指望行爲樣本學習簡單程序。從雜亂和排好序樣本學習對一系列數排序。自我編程技術起步階段，原則上將來可適用幾科全部任務。

強化學習(reinforcement learning)。自主智能體，沒有人類操做者指導，試錯學習執行任務。DeepMind代表，深度學習強化學習系統學會玩Atari視頻遊戲，在多種任務可與人類匹配(Mnih et al., 2015)。深度學習顯著改善機器人強化學習性能(Finn et al., 2015)。

深度學習應用高利潤，頂級技術公司：Googel、Microsoft、Facebook、IBM、Baidu、Apple、Adobe、Netflix、NVIDIA、NEC。

深度學習進步依賴軟件基礎架構進展。軟件庫，Theano(Bergstra et al., 2010a; Bastien et al., 2012a)、PyLearn2(Goodfellow et al., 2013e)、Torch(Collobert et al., 2011b)、DistBelief(Dean et al., 2012)、Caffe(Jia,2013)、MXNet(Chen et al., 2015)、TensorFlow(Abadi et al., 2015)。支持重要研究項目或商業產品。

對象識別現代卷積網絡爲神經科學家提供視覺處理模型(DiCarlo, 2013)。處理海量數據、科學領域有效預測工具，成功預測分子相互做用，幫助製藥公司設計新葯物(Dahl et al., 2014)。搜索亞原子粒子(Baldi et al., 2014)。自動解析構建人腦三維圖顯微鏡圖像(Knowles-Braley et al., 2014)。

深度學習是機器學習的一種方法。

參考資料： 《深度學習》

歡迎推薦上海機器學習工做機會，個人微信：qingxingfengzi

我有一個微信羣，歡迎一塊兒學深度學習。