RNN&LSTM&GRU

RNN 相對於CNN，RNN可以記錄歷史信息，使其在解決序列問題方面很有用處，其被廣泛應用於語音識別，語言模型，翻譯和圖像標註等。 RNN網絡具有記憶前序狀態的功能。 展開後的模型如下： 長期依賴問題 加入說「雲在天空」，根據「雲在」推出「天上」比較容易。 即根據 x0,x1,..., 可以預測 h3 然而，如果說「小強出生在中國，…,他的母語是中文」，如果要推到「中文」，則要向前看很遠，要能到出

>>阅读原文<<