深度學習小白——神經網絡1(激活函數)

1、激活函數函數 1. Sigmoid                    學習 它能夠將輸入實數值壓縮到0到1的範圍內，更具體地說，很大的負數變爲0，很大的正數變爲1。 但sigmoid 函數有幾個缺點監控 sigmoid函數飽和使梯度消失，當神經元的激活在接近0或者1時會飽和，在這些區域，梯度幾乎爲0，這樣，在反向傳播過程當中，局部梯度就會接近0，這會有效地「殺死」梯度 Sigmoid函數的

>>阅读原文<<