深度神經網絡面臨的問題

深度神經網絡面臨的挑戰 梯度消亡 訓練過程非常慢 神經網絡靠輸入端的網絡層的係數增加不再隨着訓練而變化，或者變化非常緩慢 隨着網絡層數的增加，這個現象越發明顯 梯度消亡的前提 使用基於梯度的訓練方法（例如梯度下降法） 使用的激活函數具有輸出值範圍大大小於輸入值的範圍，例如logistics（邏輯斯函數），tanh（雙曲正切） 問題分析 梯度下降法依靠理解係數的微小變化對輸出的影響來學習網絡的係數的

>>阅读原文<<