長短時記憶網絡LSTM(基本理論)

整個LSTM網絡,x號表示門 web pointwise Operation:點對點的操做,好比點對點的相乘,點對點的相加。 concatenate:若第一條線爲10x1,第二條線爲20x1,則輸出爲30x1。 將LSTM分爲一小部分一小部分 sigmoid輸出範圍爲(0,1),爲0的時候遺忘,1保留 tanh函數輸出範圍爲(-1,1),正的加強,負的減弱 附Sigmoid,tanh函數 網絡
相關文章
相關標籤/搜索