RNN訓練詳解，通俗易懂

Xt代表輸入序列中的第t步元素，例如語句中的一個漢字。一般使用一個one-hot向量來表示，向量的長度是訓練所用的漢字的總數（或稱之爲字典大小），而唯一爲1的向量元素代表當前的漢字。 St代表第t步的隱藏狀態，其計算公式爲St=tanh(U*Xt+W*St-1)。也就是說，當前的隱藏狀態由前一個狀態和當前輸入計算得到。考慮每一步隱藏狀態的定義，可以把St視爲一塊內存，它保存了之前所有步驟的輸入和隱

>>阅读原文<<