循環神經網絡中的LSTM和GRU

循環神經網絡：就是藉助循環覈實現的時間特徵提取，再把提取到的信息送入全連接網絡，實現連續數據的預測。 循環核：循環核具有記憶力，通過不同時刻的參數共享，實現了對時間序列的信息提取。 ht：每個時刻的狀態信息 參數矩陣：wxh,whh,why xt:輸入特徵 yt：輸出特徵 bh:偏置項 by:偏置項 yt=softmax(htwhy+by) ht=tanh(xtwxh+ht-1whh+bh) 前向

>>阅读原文<<