深度學習(7) - 長短時記憶網絡(LSTM)

長短時記憶網絡是啥 咱們首先了解一下長短時記憶網絡產生的背景。回顧一下零基礎入門深度學習(5) - 循環神經網絡中推導的，偏差項沿時間反向傳播的公式：python 咱們能夠根據下面的不等式，來獲取的模的上界（模能夠看作對中每一項值的大小的度量）：git 咱們能夠看到，偏差項從t時刻傳遞到k時刻，其值的上界是的指數函數。分別是對角矩陣和矩陣W模的上界。顯然，除非乘積的值位於1附近，不然，當t-k很大

>>阅读原文<<