深度神經網絡中梯度消失的原因及解決

我們總聽到說梯度消失梯度消失，究竟是什麼原因呢。 梯度消失 上圖是我們的簡單3隱層神經網絡，我們採取sigmod函數作爲每個神經元的激活函數。即，每層輸入爲： zi=ωioi−1+b1 輸出爲： oi=σ(zi) 則根據求導的鏈式法則有： ∂C∂b1=∂C∂o4∂o4∂b1=∂C∂o4∂o4∂z4∂z4∂b1=∂C∂o4σ′(z4)∂z4∂o3∂o3∂b1=∂C∂o4σ′(z4)ω4∂o3∂b1=

>>阅读原文<<