RNN神經網絡的細節(九)

RNN遞歸神經網絡 上篇講過了RNN的基本構造。 傳入其實是由兩個參數,一個是傳入的參數,另一個是上一次傳過來的舊值,用這兩個參數來進行前向傳播。 前向傳播: Xt就是表示第幾個輸入,輸入乘上一個權值,也就是一個矩陣U,中間的St-1就是上一個值傳進來的,乘於W,就是對應的權值,相加之後減去一個偏置值,可以設置爲1,就是(UXt + WSt-1-1),之後再把所有值進行一個非線性函數,比如一個re
相關文章
相關標籤/搜索