sigmoid函數特性

sigmoid函數特性 (1)定義域爲R (2)值域爲(0,1) (3)函數在定義域內爲連續和光滑的函數 (4)處處可導,且導函數滿足S’(x)=S(x)(1-S(x)) (5)S形函數,中間梯度大,越趨近於兩端梯度越小,容易梯度消失。 (6)導數值域爲(0,0.25] Sigmoid函數由下列公式定義 圖形如下: 優點:平滑、易於求導。 缺點:激活函數計算量大,反向傳播求誤差梯度時,求導涉及除法
相關文章
相關標籤/搜索