殘差(Residual)-從GBDT到ResNet

在深度神經網絡中，隨着網絡越來越深，僅僅靠 BN、ReLU、DropOut等Trick無法解決收斂問題，相反，網絡的加深帶來參數的增加。 隨着網絡層級的加深，會出現兩個問題： 過多的參數容易導致過擬合。 訓練結果會在真值周圍變化，導致網絡震盪。 借鑑GBDT和XGBoost的思路，ResNet藉助殘差來解決震盪問題。 ResNet全稱是Residual Network，每一個節點學到的不再是參數本

>>阅读原文<<