RNN與LSTM原理詳解

1. 單個RNN網絡結構網絡 輸出層與普通的網絡相比，多了一個迴歸層，將以前的信息保留進行前向的傳播。函數 xt表示第t,t=1,2,3...步(step)的輸入spa st爲隱藏層的第t步的狀態，它是網絡的記憶單元。3d st=f(U*xt+W*st−1)，其中f通常是非線性的激活函數blog ot是第t步的輸出，機率表示softmax(V*st)class 權值更新：im 對所存儲的網絡都有影

>>阅读原文<<