RNN、LSTM基礎

RNN DNN的無法對時間序列上的變化進行建模,所以出現了RNN,神經元的輸出可以在下一個時間戳直接作用到自身。但是RNN出現梯度消失,長短時記憶單元LSTM,通過門的開關實現時間上記憶功能,並防止梯度消失。 RNN既然能繼承歷史信息,是不是也能吸收點未來的信息呢?雙向RNN、雙向LSTM,同時利用歷史和未來的信息。 LSTM GRU GRU對LSTM做了兩個大改動 1.將輸入門、遺忘門、輸出門變
相關文章
相關標籤/搜索