TextRNN

這篇是RNN類結構和其用於文本分類的學習總結； 一、單向RNN結構：，權重矩陣U、V、W共享。 二、雙向RNN結構：，，仿照單向的寫法也就是。從公式裏也可以看出來，正向計算和反向計算不共享權值。 三、長短時記憶網絡LSTM結構：RNN神經元中只有這一計算，隱藏層的狀態對短期的輸入非常敏感，存在梯度消失和梯度爆炸的問題。有科學家提出LSTM解決了這個問題，原始的RNN神經元中只有一個隱藏狀態，這個狀

>>阅读原文<<