如何直觀的解釋back propagation算法(二)

利用計算圖做自動微分時，既有前向模式，也有反向模式。而神經網絡中的反向傳播就是自動微分的反向模式。事實上，我們還可以用「前向傳播」來計算神經網絡中的梯度值，但是由於效率原因這個方法並沒有被採用。 我們首先考慮下面這個計算圖 我們的終極目標是爲了計算輸出對輸入的梯度，即 （注意，這裏輸出L是一維的，即實數，因此是梯度。而x,y,z可以是多維的向量。這個維度的差異非常關鍵）。y與z可以看做中間狀態變量

>>阅读原文<<