深度學習：CNN RNN DNN 區別 卷積層或是LSTM單元

梯度消失：html http://www.cnblogs.com/tsiangleo/p/6151560.html網絡 根本的問題其實並不是是消失的梯度問題或者激增的梯度問題，而是在前面的層上的梯度是來自後面的層上項的乘積。因此神經網絡很是不穩定。惟一可能的狀況是以上的連續乘積恰好平衡大約等於1，可是這種概率很是小。函數 因此只要是sigmoid函數的神經網絡都會形成梯度更新的時候極其不穩定，產生

>>阅读原文<<