深度學習算法之CNN、RNN、LSTM公式推導

整個推導過程首先一定對網絡的結構有清醒的認知，所有變量的下角標都能一一對應到網絡結構上；然後就是鏈式求導了。 一、CNN公式推導 1、前向傳播 假設CNN共三層，第一層爲輸入層，第二層爲隱藏層，第三層爲輸出層。 定義：第一層與第二層之間的參數爲 Wih ,第二層到第三層的參數爲 Whk t時刻的某一個神經元的輸入爲 bi 那麼隱藏層輸入爲： ∑mi=1Wihbi 則隱藏層的真實輸入爲： ah=∑m

>>阅读原文<<