長短時記憶網絡(LSTM)

LSTM的引入 *雖然RNN的訓練過程和多層神經網絡差別不大,寫程序較簡單,可是Rnn的訓練是十分困難的,並且很難學到長期依賴,由於當對參數進行求導更新時,式子中會使用鏈式法則不斷乘積和求導,如在對參數w更新的式子中,會須要使用鏈式法則,這樣當對一個變量針對變量函數求導時,會獲得一個雅可比矩陣,這樣就會出現兩個問題。網絡       [1].若是雅可比陣中有較小數時,通過屢次矩陣相乘,梯度值會快速
相關文章
相關標籤/搜索