深度學習理論——殘差神經網絡

大家好，繼續理論學習，今天學習了何凱明大神的又一力作，殘差神經網絡。 我們知道，網絡層數越深，其表達能力越強，但之前人們並不敢把網絡設計的太深，因爲會有梯度衰減等各種問題讓網絡的性能大幅度下滑，用一些正則化，RELU等激活函數也不能完全避免。但有了殘差網絡，人們可以把網絡的層數設計的很深，比如幾百層。其基本思想如下： 在傳統的平網絡（Plain Network）中，一層的網絡的數據來源只能是前一層

>>阅读原文<<