LSTM反向傳播算法 (基於矩陣求導的方法)

如下圖所示（圖片來自網絡）。LSTM的核心思想是使得細胞狀態Ct-1通過傳送帶，只經過少量的交互就輸出Ct ，這使得之前的信息能夠傳遞到當前，解決了RNN誤差後向傳播的梯度消失問題。 它與RNN一樣，參數是共享。如下圖所示，這三個LSTM細胞的參數是相同的，不同的是輸入值不同，因此輸出值Ht和Ct也不同。 對應的數學模型爲 如果我們使用隨機梯度下降法對網絡進行優化，則輸入數據和輸出數據是逐個到來的

>>阅读原文<<