優化循環神經網絡長期依賴問題 LSTM GRU 截斷梯度 滲透單元

長期依賴問題 長期依賴問題在於經過許多階段梯度傳播後，梯度傾向於消失（多數）或者爆炸（少數）。循環神經網絡涉及到多次相同函數的組合，這些組合導致極短的非線性。 ESN回聲狀態網絡： 。。。 跳躍連接： 從過去某個層輸出，直接鏈接到未來層。引入d延時循環鏈接保證單元能夠被前d個單元影響，減輕梯度爆炸和消失問題。導數的指數減小速度與T/d有關而不是T有關。如ResNet： 滲透單元： 設置自連接單元從

>>阅读原文<<