循環神經網絡RNN以及LSTM的推導和實現

1. 從神經網絡談起 瞭解神經網絡的都知道，神經網絡作爲一種非線性模型，在監督學習領域取得了state-of-art的效果，其中反向傳播算法的提出居功至偉，到如今仍然是主流的優化神經網絡參數的算法. 遞歸神經網絡、卷積神經網絡以及深度神經網絡作爲人工神經網絡的」變種」，仍然延續了ANN的諸多特質，如權值連接，激勵函數，以神經元爲計算單元等，只不過因爲應用場景的不同衍生了不同的特性，如：處理變長數據

>>阅读原文<<