神經網絡系列學習筆記(四)——神經網絡之RNN學習筆記

　　不一樣於傳統的FNNs(Feed-forward Neural Networks，前向反饋神經網絡)，RNNs引入了定向循環，可以處理那些輸入之間先後關聯的問題。

　　RNNs的目的是用來處理序列數據。

　　具體的表現形式爲網絡會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點再也不無鏈接而是有鏈接的，而且隱藏層的輸入不只包括輸入層的輸出還包括上一時刻隱藏層的輸出。

LSTM Networks:

　　它與通常的RNNs結構本質上並無什麼不一樣，只是使用了不一樣的函數去去計算隱藏層的狀態。

　　已經證實，該網絡結構在對長序列依賴問題中很是有效。

 

 

學習資料：

http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

http://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/