LSTM初探

要說LSTM,那就得先從RNN提及,RNN是一種對序列型數據進行建模的工具,在語音識別,機器翻譯等領域有很好的應用。LSTM能夠說是RNN的改進版,簡單來講,RNN對長距離序列處理時會出現梯度消失或者爆炸這種現象,使得訓練不起來(注:梯度消失或者爆炸問題不光在RNN中出現,在其餘神經網絡中也有,好比在使用sigmoid的激活函數時就可能出現,只不過那邊處理的方法能夠是替換激活函數,好比爲Relu)
相關文章
相關標籤/搜索