LSTM 網絡結構簡述

LSTM 神經網絡 爲什麼提出LSTM？ RNN 存在「長期依賴」問題，當序列過長時候，一方面在優化時出現梯度消失或爆炸的問題。另一方面，展開後的前饋神經網絡會佔用較大的內存。 實際中，複雜語言場景中，有用的信息間隔有大有小，長短不一，RNN性能受限。LSTM則靠一些「門」結構讓信息有選擇性地影響循環神經網絡中每個時刻的狀態。 什麼是「門」 「門」結構就是通過使用sigmoid函數和按位乘法的操作

>>阅读原文<<