架構-LSTM理解總結(1)

序列建模和語音識別中常使用RNN，LSTM和GRU，本文就對其進行一個整理和總結。 RNN：     雙向RNN解決了上下文依賴問題，一層隱藏層的Bi-RNN結構如下所示[1]： 其中前向網絡ht依賴ht-1，後項網絡ht依賴ht+1，輸出yt依賴前向ht，也依賴後項ht，其數學表達如下所示： 具有3個隱藏層的Bi-RNN結構如下圖所示： 其數學表達如下所示：其中第i層t時刻的前向隱藏層h依賴t時

>>阅读原文<<