deeplearning.ai學習LSTM

1、LSTM架構與公式

這裏的a<t>表示的就是原始輸出，y<t>表示的就是通過softmax的輸出，c<t>至關於狀態。u(update)表明是輸入門，f表明遺忘門，o(output)表明輸出門。

上圖就是串聯起來的結構，從圖中咱們能夠看出，若是門控設置比較合理的話，c<0>從左到右是能夠一直傳遞的，不管中間通過多少層，這就是LSTM能夠處理長依賴的優點。

2、Bidirectional RNN(雙向RNN結構)

上圖就是andrew ng畫的雙向RNN的結構示意圖，該結構仍是以序列標註的問題做爲例子解釋的。從圖示能夠看出，一個是從左到右計算a<1>--->a<2>--->a<3>--->a<4>，另外一個方向是從右向左計算a<4>--->a<3>--->a<2>--->a<1>，根據最終兩個方向計算出來的a<t>來計算最終的輸出y<t>。計算公式以下：

 上圖每個節點cell能夠是普通RNN結構，也能夠是GRU或者LSTM。

3、Deep RNN

如圖所示的深層RNN共有三層，RNN對於計算資源要求比較高，因此三層已經很多了，其各個節點a和輸出值y計算以下：

其中的每一個方框節點cell，一樣能夠是普通RNN，GRU或者LSTM.