DNN的BP算法Python簡單實現(2017)

BP算法是神經網絡的基礎，也是最重要的部分。因爲偏差反向傳播的過程當中，可能會出現梯度消失或者爆炸，因此須要調整損失函數。在LSTM中，經過sigmoid來實現三個門來解決記憶問題，用tensorflow實現的過程當中，須要進行梯度修剪操做，以防止梯度爆炸。RNN的BPTT算法一樣存在着這樣的問題，因此步數超過5步之後，記憶效果大大降低。LSTM的效果可以支持到30多步數，太長了也不行。若是要求更

>>阅读原文<<