雙向循環神經網絡、深度循環神經網絡、BPTT

循環神經網絡 一個簡單的循環神經網絡，它由輸入層、一個隱藏層和一個輸出層組成：   如果把上面有W的那個帶箭頭的圈去掉，它就變成了最普通的全連接神經網絡。 x是一個向量，它表示輸入層的值（這裏面沒有畫出來表示神經元節點的圓圈）； s是一個向量，它表示隱藏層的值（這裏隱藏層面畫了一個節點，你也可以想象這一層其實是多個節點，節點數與向量s的維度相同）； U是輸入層到隱藏層的權重矩陣； o也是一個向量，

>>阅读原文<<