RNN的前向傳播和反向傳播

在上一節當中，我們講到了RNN的其中一個特點是參數共享，在這一節當中，我們用具體代碼來展示RNN的前向傳播。 首先是給出每一個參數具體的值： W指的是相鄰時刻隱藏單元間的權重矩陣，U指的是從X(t)計算得到的對應隱藏單元時用到的權重矩陣;V是由h(t)計算得到o(t)時用到的權重矩陣；b_o是由h(t)計算得到o(t)時用到的偏置值。 這就是一個簡單循環神經網絡的前向傳播計算過程，輸出的O(t)就

>>阅读原文<<