Deep learning系列（七）激活函數

1. sigmoid激活函數 sigmoid將一個實數輸入映射到[0,1]範圍內，如下圖（左）所示。使用sigmoid作爲激活函數存在以下幾個問題： 梯度飽和。當函數激活值接近於0或者1時，函數的梯度接近於0。在反向傳播計算梯度過程中：δ(l)=(W(l))Tδ(l+1)∗f′(z(L))，每層殘差接近於0，計算出的梯度也不可避免地接近於0。這樣在參數微調過程中，會引起參數彌散問題，傳到前幾層的梯

>>阅读原文<<