梯度消失 梯度爆炸

假設我們現在需要計算一個函數f(x,y,z)=(x+y)*z，在x = -2,y = 5,z = -4時的梯度，那麼首先可以做出如下所示的計算圖。 將x = -2,y = 5,z = -4帶入，其中，令x+y = q ,一步步計算，很容易就能得出f(-2,5,-4) = -12 。 這就是前向傳播（計算圖上部分綠色打印字體與藍色手寫字體),前向傳播是從輸入一步步向前計算輸出，而反向傳播則是從輸出反

>>阅读原文<<