DNN的損失函數和激活函數

均方差損失函數+Sigmoid激活函數 Sigmoid激活函數 σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1+e^{-z}} σ(z)=1+e−z1​ 對於Sigmoid，當𝑧的取值越來越大後，函數曲線變得越來越平緩，意味着此時的導數𝜎′(𝑧)也越來越小。同樣的，當𝑧的取值越來越小時，也有這個問題。僅僅在𝑧取值爲0附近時，導數𝜎′(𝑧)的取

>>阅读原文<<