激活函數

1. sigmoid sigmoid是很常用的非線性激活函數，其取值範圍爲[0,1]，連續可導函數，因此，實際應用中可以把sigmoid的結果當成概率值。典型例子如邏輯迴歸 sigmoid的導數爲： 圖像如下： 當 z 值非常大或者非常小時，sigmoid函數的導數 g′(z) 將接近 0 。這會導致權重 W 的梯度接近 0 ，使得梯度更新十分緩慢，即梯度消失（sigmoid後值都在0-1之間，此

>>阅读原文<<