梯度消失和梯度爆炸

1. 前向傳播和反向傳播 在講解梯度消失和梯度爆炸之前，我們需要先了解什麼是前向傳播和反向傳播。 前向傳播： 輸入層數據開始從前向後，數據逐步傳遞至輸出層。 反向傳播： 損失函數從後向前，梯度逐步傳遞至第一層。 在講解前向傳播和反向傳播計算過程之前，我們先介紹一下計算圖的概念，通過計算圖可以很清楚的瞭解後向傳播的計算過程，以3層網絡爲例。 藍色圓圈表示運算操作，分別爲乘法，激活函數，乘法，損失函數

>>阅读原文<<