RNN、LSTM、GRU基礎原理梳理

文章目錄 前言 一、傳統RNN 雙向RNN 深層雙向RNN 二、LSTM 第一層 第二層 第三層 第四層 三、GRU 四、 LSTM和GRU區別 參考 前言 爲了複習NLP自己的相關知識，整理一個博客 一、傳統RNN 傳統的RNN也即BasicRNNcell單元。內部的運算過程爲，(t-1)時刻的隱層輸出與w矩陣相乘，與t時刻的輸入乘以u之後的值進行相加，然後經過一個非線性變化（tanh或Relu

>>阅读原文<<