LSTM及其變體(一)

經典LSTM(1997) 1. 三個門的信息流入 ft=σ(Wf⋅[ht−1,xt]+bf) (1) it=σ(Wi⋅[ht−1,xt]+bi) (2) ot=σ(Wo⋅[ht−1,xt]+bo) (3) 2. 記憶單元的更新 C~t=tanh(WC⋅[ht−1,xt]+bC) (輸入整流器) Ct=ft∗Ct−1+it∗C~t (記憶遺忘+輸入整流) 3. 隱單元更新 ht=ot∗tanh(Ct

>>阅读原文<<