深度殘差網絡（ResNet）淺析

第一次寫博客，歡迎大家來拍磚。 網絡層數深了，會面臨梯度消失的問題。深度大了爲什麼會出現梯度消失問題？在於假設網絡的輸入和輸出和網絡參數的分佈取值大約[-1，1]，爲什麼這樣說，想想數據預處理（RGB值0-256抓化爲0-1或-1到1），網絡參數初始化服從高斯分佈，batch normalization（把數據轉化爲正態分佈），sigmoid function的輸出範圍。BP算法中鏈式求導的法則，

>>阅读原文<<