[神經網絡與深度學習]梯度不穩定問題：梯度消失與爆炸

1.初現梯度消失問題 1.1 直觀上的想法與理論的證實 在《神經網絡與深度學習》前面的章節中，咱們使用只含有一層隱藏層的神經網絡來進行手寫數字的識別，準確率高達98%。因此，憑直覺地看，咱們指望擁有更多隱藏層的神經網絡可以變得更增強大： 咱們可使用中間層構建出多層的抽象，如，若是咱們在進行視覺模式識別，那麼在第一層的神經元可能會學會識別邊，在第二層的神經元能夠在邊的基礎上學會識別出更加複雜的形狀，

>>阅读原文<<