神經網絡中的前向傳播和反向傳播理解

前向傳播 輸入，輸出，緩存爲 前向傳播的過程： 向量化的過程可以寫成： 式中，就是初始的輸入X。如下圖的兩層神經網絡所示，可以很好的理解。   反向傳播 反向傳播主要採用數學上的鏈式法則，反向傳播的公式推導可以總結爲4個公式。 輸入，輸出，， 形式轉換一下，和上面的式子是等價的，步驟如下：   第5個公式由4式代入1式得到。前4個式子就可以實現反向傳播。 寫成向量化的形式爲：   參考：[1] 吳

>>阅读原文<<