《14天動手學深度學習》——循環神經網絡進階

GRU RNN存在的問題：梯度較容易出現衰減或爆炸（BPTT） ⻔控循環神經⽹絡：捕捉時間序列中時間步距離較⼤的依賴關係 RNN: Ht=ϕ(XtWxh+Ht−1Whh+bh)Ht=ϕ(XtWxh+Ht−1Whh+bh) GRU: Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWxz+Ht−1Whz+bz)H˜t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh)Ht=Zt⊙Ht−

>>阅读原文<<