10.神經網絡與深度學習（九）—梯度消失問題

1）引言 終於開始進入深度學習了，其實深度學習就是多層神經網絡訓練數據。 2）什麼是梯度消失問題？ 梯度消失問題實際上是指在隱藏層BP的時候梯度是逐漸變小的。也就是說前面隱藏層的學習速度比後面的隱藏層學習速度小。 3）什麼導致了梯度消失 我們先看一個很簡單的深度神經網絡：每一層只有一個單一的神經元。下圖就是三層隱藏層的神經網絡： 我們這裏先給出代價函數關於第一個隱藏神經元的梯度∂C/∂b1的公式，

>>阅读原文<<