神經網絡中的前向和後向算法

   看了一段時間的深度網絡模型，也在tf和theano上都跑了一些模型，但是感覺沒有潛下去，對很多東西的理解都只停留在「這個是幹什麼的」層次上面。昨天在和小老師一起看一篇文章的時候，就被問到RNN裏面的後向傳播算法具體是怎麼推。當時心裏覺得BP算法其實很熟悉啊，然後在推導的過程中就一臉懵逼了。於是又去網上翻了翻相關內容，自己走了一遍，準備做個筆記，算是個交代。 準備一個神經網絡模型，比如：   

>>阅读原文<<