BP反向傳播公式推導

重點 界定一個節點的輸入和輸出 z z 是激勵函數的輸出 Backpropagation算法(BP)是深度學習的基礎,沒有BP算法就沒有神經網絡,也不會有現在如火如荼的深度學習. BP算法並不僅僅適用於神經網絡,對於任意系統,抽象成輸入/輸出/參數三個部分,如果輸出對每個參數的導數已知,那麼可以用BP算法把該系統調節到最優. 當然上述結論只在理論上成立,實踐中會遇到各種問題,比如梯度爆炸/消失等數

>>阅读原文<<