循環神經網絡RNN以及LSTM的推導和實現

1. 從神經網絡談起 瞭解神經網絡的都知道，神經網絡做爲一種非線性模型，在監督學習領域取得了state-of-art的效果，其中反向傳播算法的提出居功至偉，到現在仍然是主流的優化神經網絡參數的算法. 遞歸神經網絡、卷積神經網絡以及深度神經網絡做爲人工神經網絡的"變種"，仍然延續了ANN的諸多特質，如權值鏈接，激勵函數，以神經元爲計算單元等，只不過由於應用場景的不一樣衍生了不一樣的特性，如：處理變長

>>阅读原文<<