深度神經網絡優化策略之——殘差學習

問題起源 　　深度學習普遍認爲發端於2006年，根據Bengio的定義，深層網絡由多層自適應非線性單元組成——即多層非線性模塊的級聯，所有層次上都包含可訓練的參數，在工程實際操作中，深層神經網絡通常是五層及以上，包含數百萬個可學習的自由參數的龐然大物。理論上，網絡模型無論深淺與否，都能通過函數逼近數據的內在關係和本質特徵，但在解決真實世界的複雜問題時，需要指數增長的計算單元，淺層網絡往往出現函數表

>>阅读原文<<