Deep learning系列（七）激活函數

1. sigmoid激活函數 sigmoid將一個實數輸入映射到[0,1]範圍內，以下圖（左）所示。使用sigmoid做爲激活函數存在如下幾個問題：html 梯度飽和。當函數激活值接近於0或者1時，函數的梯度接近於0。在反向傳播計算梯度過程當中： δ(l)=(W(l))Tδ(l+1)∗f′(z(L)) ，每層殘差接近於0，計算出的梯度也不可避免地接近於0。這樣在參數微調過程當中，會引發參數彌散問題

>>阅读原文<<