RNN和LSTM

本文主要基於天池上的AI學習視頻:點擊打開鏈接 基本內容有:   1 前向神經網絡回顧 2 循環神經網絡 2.1 循環神經網絡原理 將隱藏層的值存儲起來,放在memory裏面。存儲值可以用作一個輸入。 舉個例子: 時刻t=1: 時刻t=2: 時刻t=3: 放到之前的詞彙標註問題裏: 公式表示: 2.2 梯度消失&梯度爆炸 RNN存在梯度消失和梯度爆炸問題! 我們看一下t=3時刻的梯度: 對t=3求
相關文章
相關標籤/搜索