激活函數選取不當爲什會形成梯度消失

下圖爲四層神經網絡，它包括輸入層，輸出層，兩個隱層 假設輸入層到第一個隱層的權值爲，偏置值爲。兩個隱層之間的權值爲，偏置值爲。第二個隱層到輸出層的權值爲，偏置值爲。如今假設輸入的值爲，輸出爲，標籤值爲。前一層的輸出爲後一層的輸入則輸出層輸出爲：網絡 (f爲激活函數) 函數 代價函數咱們使用經常使用的方差函數：blog 咱們知道利用梯度降低法更新權值的公式爲：神經網絡 如今咱們想更新的權值，根據權值

>>阅读原文<<