反向傳播算法的公式推導（BP算法）

  假設訓練的樣本集包含m個樣例，因爲此時對於單個樣本我們將神經網絡的代價函數定義爲：   其中hW,b(x)爲輸入數據x經過神經網絡前向傳播得到的輸出結果，y爲期望值。   所以對於這個包含m個樣本集的數據集而言，整體的代價函數應爲：   上式關於J(W,b)定義中的第一項是一個均方差項。第二項是一個權重衰減項，其目的是減小權重的幅度，防止過度擬合。nl 表示神經網絡的層數。sl表示第 l 層神

>>阅读原文<<