標準RNN的推導

1.RNN前向計算：對於如下結構，x是輸入，s爲隱層，o爲輸出，U,W,V爲不同層的權值，同一類型的權連接權值相同 則ot可表示爲 其中，g,f爲輸出層，隱層的激活函數，f一般選擇tanh函數，若RNN用於分類的話，g選擇softmax函數 2.RNN反向傳播：BPTT算法，本質還是BP算法，因爲RNN處理序列數據，所以在原有基礎上增加了序列維度反向傳播。BPTT的中心思想與BP算法相同，沿着需要

>>阅读原文<<