幾句話總結一個算法之RNN、LSTM和GRU

RNN

通常神經網絡隱層的計算是h=g(w * x)，其中g是激活函數，相比於通常神經網絡，RNN須要考慮以前序列的信息，所以它的隱藏h的計算除了當前輸入還要考慮上一個狀態的隱藏，h=g(w*x+w'*h')，其中h'是上一次計算的隱層，可見信息傳遞是經過隱層完成的。

LSTM

有上面普通RNN能夠知道，每一個狀態下的RNN輸入實際有兩個，上一個隱藏h'以及當前輸入x。RNN有個問題是對序列中的各個狀態都是等同對待的，若是某個狀態很重要，是沒法長期影響後面的輸出的。LSTM爲了解決這個問題提出了相似於門控的想法，三個門控信號均有h'和x計算獲得，分別是遺忘門、記憶門和輸出門。遺忘門和記憶門用來融合當前候選隱層狀態和上一時刻的隱層狀態獲得"傳遞信息"，最後在輸出門的控制下根據當前"傳遞信息"再計算一個隱層和輸出層。

GRU

上面說的LSTM有好幾個門，實際上有部分門是能夠共用的，好比遺忘門和記憶門在GRU裏面叫更新門；另外，輸出門被移到下方用來計算候選隱藏狀態，在GRU裏面叫重置門，重置門有助於捕捉時間序列裏短時間的依賴關係，更新門有助於捕捉時間序列里長期的依賴關係。