梯度消失和梯度爆炸的原因

參考自：Neural Networks and Deep Learning（美）Michael Nielsen 著 梯度消失一般出現在遠離輸出層的 hide 層  原因： 梯度爆炸： 梯度爆炸和梯度消失稱爲不穩定梯度，梯度消失普遍存在。 我們可以通過設置合適的w和b來避免上述兩種情況, 即 w 和 b 取特定的值，但是要做到， w 和 b 能取的範圍比較小 完！有時間繼續補充！

>>阅读原文<<