RNN網絡結構及公式推導

RNN結構如圖所示： Xt∈Rx 表示t時刻的輸入( Xt 是多少維，則這一層有多少個神經元，這裏設爲 x 維，圖中畫的是3維） ht∈Rh 表示t時刻隱層的輸出(假設這一層有h個神經元） yt∈Ry 表示t時刻的預測輸出 dt∈Ry 表示t時刻的期望輸出 V∈Rx×h 表示從輸入層到隱層的權值矩陣 U∈Rh×h 表示上一個時刻到這個時刻的權值矩陣 bh∈Rh 表示隱層的偏置，其中每一項對應某一神

>>阅读原文<<