激活函數

首先激活函數肯定非線性連續的。 一.sigmoid 隱患1：飽和神經元導致梯度消失： 如果此時輸入sigmoid的 x x x值爲10或者-10等， x x x是位於飽和區的數，該位置sigmoid的梯度（斜率）是幾乎爲0的正數，即在此處 ∂ σ ∂ x ≈ 0 ( 正 ) \frac{\partial \sigma}{\partial x }\approx 0(正) ∂x∂σ​≈0(正)，會使得

>>阅读原文<<