sigmoid函數的數值穩定性

在深度學習中，我們常常選用sigmoid函數作爲激活函數。sigmoid函數的具體形式如下： f(x)=11+e−x 曲線表示爲： 再畫大一點，取x區間更大一些，則爲： 顯然從圖像上看，sigmoid函數是數值穩定的，即對於更大範圍的x，y的取值是連續的，有效的。 從理論上看， limx→+∞f(x)=1;limx→−∞f(x)=0 且中間數值可以從數學上證明是穩定的。 但我們考慮1-f(x)呢？

>>阅读原文<<