LSTM的各種門

動手實現LSTM代碼的時候，因爲忘記了各種門的原理，總感覺磕磕絆絆的。在這裏重新鞏固一下。 普通RNN無法學習到距離當前位置較遠的信息，LSTM通過修改每個隱藏層內部的結構，來解決長距離依賴問題，實現對「記憶」的控制。如下圖所示： 這種特殊結構的主要思想是：將信息存儲在一個個記憶細胞中,不同隱藏層的記憶細胞之間通過少量線性交互形成一條傳送帶（圖中紅線），實現信息的流動。同時引入一種「門」的結構，用

>>阅读原文<<