RNN演進之路-RNN-LSTM-GRU-DT(DL4MTGRULAUTransiLNCell)

本文僅對NLP應用廣泛的RNN結構進行簡單彙總比較：好看的圖是copy的網上現有最形象的，不好看的是我自己畫的。   一、RNN標準版---傳統RNN 可以有效處理序列的深度學習。雙向RNN未畫出，方向相反，用於上下文參考。   二、LSTM長短時記憶與GRU----現代RNN 有效解決RNN中長序列的梯度消失和梯度爆炸問題，解決方式是改變傳統RNN時刻間的連乘改爲疊加的形式。 GRU相比LSTM

>>阅读原文<<