RNN,LSTM,GRU自己筆記

RNN的前向傳播: 這裏是一張清理後的神經網絡示意圖,和我之前提及的一樣,一般開始先輸入,它是一個零向量。接着就是前向傳播過程,先計算激活值,然後再計算。 我將用這樣的符號約定來表示這些矩陣下標,舉個例子,第二個下標意味着要乘以某個類型的量,然後第一個下標表示它是用來計算某個類型的變量。同樣的,可以看出這裏的乘上了某個類型的量,用來計算出某個類型的量。 循環神經網絡用的激活函數經常是tanh,不過
相關文章
相關標籤/搜索