DNN的BP算法Python簡單實現(2017)

BP算法是神經網絡的基礎，也是最重要的部分。由於誤差反向傳播的過程中，可能會出現梯度消失或者爆炸，所以需要調整損失函數。在LSTM中，通過sigmoid來實現三個門來解決記憶問題，用tensorflow實現的過程中，需要進行梯度修剪操作，以防止梯度爆炸。RNN的BPTT算法同樣存在着這樣的問題，所以步數超過5步以後，記憶效果大大下降。LSTM的效果能夠支持到30多步數，太長了也不行。如果要求更長的

>>阅读原文<<