深度學習-RNN LSTM BI-LSTM

RNN 循環神經網絡 RNN主要處理有時序關係的變長序列問題。每個神經元在每一時刻都一個特殊的hidden狀態h(t),由當前節點的輸入I(t)和上一時刻t-1隱藏狀態h(t-1)加權求和後經過一個非線性激活函數得到,具體表示成公式如下: 每個神經元t時刻隱狀態 參數Whh決定了當前神經元以多少比例接受之前所有時刻[0,t-1]的輸入信息 阻礙RNN發展的兩個嚴重問題是:梯度爆炸 和 梯度消失、
相關文章
相關標籤/搜索