RNN中梯度消失和爆炸的問題公式推導

RNN 首先來看一下經典的RRN的結構圖，這裏 x x x 是輸入 W W W 是權重矩陣 (RNN的權重矩陣是共享的所以都是W) h h h 是隱藏狀態 y y y是輸出 RNN簡單公式定義 h t = W ∗ f ( h t − 1 ) + W ( h x ) ∗ x [ t ] h_t = W*f(h_{t-1}) + W^{(hx)}*x_{[t]} ht​=W∗f(ht−1​)+W(hx

>>阅读原文<<