反向傳播算法的理解（圖片來自cs231n李飛飛課件）

1 鏈式求導法則（L是損失函數） 2 簡單例子（沒有矩陣向量參與運算） 把複雜的函數表達式拆分成一個個基礎運算，每個基礎運算記做一個節點，針對單個節點進行求導。需要服從鏈式求導法則，由後端開始反向傳遞，節點左邊（前端）的梯度等於該節點求導的結果乘上右邊（後端）的求導梯度（箭頭上端是正向輸入，下端是反向梯度，這裏最末端的梯度1.0是提前假設的）。 2.1 引入Sigmoid函數可以簡化節點圖 2.2

>>阅读原文<<