LSTM中遺忘門，輸入門和輸出門的實際意義是什麼

上面是LSTM的計算公式，首先找那幾個門，其實好找，那三個Sigmod作爲非線性函數的就是三個門，很明顯其取值範圍在0到1和門打開關閉的物理意義是很好對應起來的。 所以含義很清楚， 輸入門是用來控制輸入i’(t)進出多少或者是否允許進出的門控設備； 輸出門是用來控制t時刻狀態值m(t)對外多少是可見的門控設備； 遺忘門是控制RNN中歷史狀態m(t-1)流動到t時刻後允許多少進入t時刻的門控設備；

>>阅读原文<<