循環神經網絡:從RNN到LSTM(學習筆記01)

人類不會每秒都從頭開始思考,也不會像魚一樣,只有七秒鐘的記憶。在閱讀文章的時候,你會通過先前的每一個單詞,每一句話,來了解和思考接下去的每一句話。 而在傳統的神經網絡中就不能解決這個問題,於是就有了循環神經網絡。 下面是一個典型的循環神經網絡: 這是一個循環神經網絡按照時間展開的網絡。我們可以看到,每一個時間迭代t時刻,每個神經元都能同時接收到輸入向量x(i)和前一個時間迭代是輸出量h(t-1)。
相關文章
相關標籤/搜索