循環神經網絡：循環神經網絡

本節將介紹循環神經⽹絡。它並⾮剛性地記憶所有固定⻓度的序列，而是通過隱藏狀態來儲存之前時間步的信息。⾸先我們回憶⼀下前⾯介紹過的多層感知機，然後描述如何添加隱藏狀態來將它變成循環神經⽹絡。 一、不含隱藏狀態的神經網絡 先考慮一個單層的多層感知機： 複習一遍隱藏層的輸出、輸出層的輸出。 隱藏層的輸出： H = ϕ ( X W x h + b h ) H=\phi (XW_{xh}+b_h) H=ϕ(

>>阅读原文<<