resnet

關於resnet，網上有大量的文章講解其原理和思路，簡單來說，resnet巧妙地利用了shortcut連接，解決了深度網絡中模型退化的問題。   然而對此我有一個疑問，卷積網絡設計之初就是爲了自動學習高級特徵，理論上隨着網絡的加深會學習到更加抽象的特徵，然而事與願違，所以有了resnet的出現。個人認爲，產生這樣的原因有兩個，一是深度學習中的求導機制，不斷連乘會導致梯度消失或者梯度爆炸；二是現目前

>>阅读原文<<