ResNet 《Deep Residual Learning for Image Recognition》 閱讀筆記

1. Introduction 首先作者說明現在很多效果很好的網絡都採用了比較深的網絡結構，那麼想要獲得性能更好的網絡，是否只需要疊加層數就行了呢？作者的實驗結果如下 這個問題的一個阻礙就是臭名昭著的梯度爆炸和梯度消失問題會導致無法收斂，但是這個問題通過標準化的初始化和BN這樣的方法基本可以解決。 雖然可以收斂，但是還有一個問題叫degradation，就是當網絡變深，準確率會先飽和然後下降。並且

>>阅读原文<<