《序列模型》之循環神經網絡基礎

RNN model 模型架構 BPTT 不同類型的RNN 梯度爆炸和梯度消失 出現原因 解決梯度爆炸 檢測 梯度裁剪 截斷BPTT 解決梯度消失 很難檢測 如何解決 LSTM,GRU ReLU激活函數 循環權重矩陣初始化方法 Skip connections 將權重矩陣分解 Q−1ΛQ Q − 1 Λ Q 的話，其中 Λ Λ 是對角線上是特徵值的對角矩陣，Q是特徵值對應的特徵向量組成的矩陣。 那麼

>>阅读原文<<