神經網絡與深度學習筆記（五）

第五章 深度神經網絡爲何很難訓練     在深度網絡中，不同的層學習的速度差異很大。當網絡中後面的層學習的情況很好的時候，先前的層常常會在訓練時停滯不變，基本學不到東西。根本原因是學習的速度下降了，學習速度的下降和基於梯度的學習技術有關。 5.1 消失的梯度問題     對於MNIST分類問題，理論上說，增加一個神經網絡額外的隱藏層應該讓網絡能夠學到更加複雜的分類函數，然後再分類時表現得更好，但是

>>阅读原文<<