深度學習-RNN LSTM BI-LSTM

RNN 循環神經網絡 RNN主要處理有時序關係的變長序列問題。每個神經元在每一時刻都一個特殊的hidden狀態h(t)，由當前節點的輸入I(t)和上一時刻t-1隱藏狀態h(t-1)加權求和後經過一個非線性激活函數得到，具體表示成公式如下： 每個神經元t時刻隱狀態 參數Whh決定了當前神經元以多少比例接受之前所有時刻[0,t-1]的輸入信息 阻礙RNN發展的兩個嚴重問題是：梯度爆炸 和 梯度消失、

>>阅读原文<<