LSTM、GRU、 BRNN、Hierarchical RNN

傳統的RNN在訓練long-term dependencies 的時候會遇到很多困難,最常見的便是vanish gradient problen。期間有很多種解決這個問題的方法被髮表。大致可以分爲兩類:一類是以新的方法改善或者代替傳統的SGD方法,如Bengio提出的clip gradient;另一種則是設計更加精密的recurrent unit,如LSTM,GRU。而本文的重點是比較LSTM,G
相關文章
相關標籤/搜索