LSTM RNN

Long Short-Term Memory 長短期記憶 RNN 形式之一 RNN是在有序的數據上進行學習的 信息源記憶經過長度跋涉才能最終抵達最後一個時間點 然後,我們可以得到誤差,然後反向傳遞這個誤差時, 他在每一步都會乘於一個參數W,如果這個W小於1,那麼這個誤差傳到初始時,就相當於消失了,我們把這個過程叫做梯度消失或者梯度彌散。 反之如果W大於1,不斷累成,最後可能會變成一個無窮大的數,R
相關文章
相關標籤/搜索