LSTM速度複習

長短時記憶網絡LSTM中,ft,ot,it是門控,表示右邊的值有多少能通過(不就是在BP網絡上加了這種叫「門」的東西嘛,這個門控也是由各傳入*權值激活出來的),整個算法是關鍵是出現了控制神經元有多少能通過這種思想,關鍵的信息會保留在中間cell的位置(可以理解爲隱藏層) 記憶:三個門,輸出門,輸入門,忘記門 先不看輸出輸出輸入門,就看忘記門,就是在RNN基礎上,利用上一輪總輸出及當前輸入做門控來決
相關文章
相關標籤/搜索