激活函數選取不當爲什會造成梯度消失

下圖爲四層神經網絡，它包括輸入層，輸出層，兩個隱層 假設輸入層到第一個隱層的權值爲，偏置值爲。兩個隱層之間的權值爲，偏置值爲。第二個隱層到輸出層的權值爲，偏置值爲。現在假設輸入的值爲，輸出爲，標籤值爲。前一層的輸出爲後一層的輸入則輸出層輸出爲： (f爲激活函數) 代價函數我們使用常用的方差函數： 我們知道利用梯度下降法更新權值的公式爲： 現在我們想更新的權值，根據權值更新公式則和鏈式法則有： 假設

>>阅读原文<<