個人紀錄 LSTM/RNN

Long Short-Term Memory 上面是RNN的網絡基本結構。 上面是RNN的內部展開，並與普通的神經元forward進行比較。可以大概看出基本上兩個不同：1.激活函數發生變化。2.需要多學習一個 W h W_h Wh​，給以往的狀態加權。 但是，RNN會產生梯度消失/梯度爆炸（沒辦法回憶久遠記憶） LSTM加了三個門限。輸入控制，輸出控制和忘記控制。 宏觀理解： LSTM相當於有兩條

>>阅读原文<<