深度神經網絡中的梯度丟失與梯度爆炸

神經網絡的反向傳播 要理解梯度丟失（vanishing gradient）和梯度爆炸，首先需要理解神經網絡的反向傳播算法。 一般來說，訓練一個神經網絡需要很多個迭代。在每個迭代中，都包含兩個步驟。 前饋（feed forward）：它指的是從神經網絡的輸入開始，根據每一層的權重和偏置，逐層計算輸出，直到得到神經網絡的最終輸出。這個輸出值可以是對圖片的分類，也可以是對數據走勢的預測等等。 反向傳播（

>>阅读原文<<