LSTM中隱層神經元的傳播機制

相較於RNN，LSTM只是改變了隱含層中神經元在不同時刻的傳播機制 將隱層某個神經元看成一個cell, 這個cell有3個輸入，上一個時刻的隱層某神經元的保留狀態 Ct−1 ,上一個時刻的隱層某神經元輸出的傳遞信息 ht−1 , 當前時刻的樣本 Xt , 該cell由3個gate(forget, input, output)控制。 一、通過忘記門決定從cell中丟失什麼信息： ft=sigmoid

>>阅读原文<<