深度神經網絡學習過程中的梯度消失問題

之前的章節，我們利用一個僅包含一層隱藏層的簡單神經網絡就在MNIST識別問題上獲得了98%左右的準確率。我們於是本能會想到用更多的隱藏層，構建更復雜的神經網絡將會爲我們帶來更好的結果。 就如同在進行圖像模式識別的時候，第一層的神經層可以學到邊緣特徵，第二層的可以學到更復雜的圖形特徵，例如三角形，長方形等，第三層又會識別更加複雜的圖案。這樣看來，多層的結構就會帶來更強大的模型，進行更復雜的識別。 那

>>阅读原文<<