sigmoid函數原理及飽和後梯度消失的問題

sigmoid函數原理及飽和後梯度消失的問題 sigmoid函數結構 sigmoid函數，是神經網絡中的一種激活函數，其輸出範圍在(0,1)之間。主要運動於: 1、 作爲激活函數，利用輸出範圍(0,1)與其非線性的特點，常用於在神經網絡中間層作爲激活函數； 2、在神經網絡的最後一層將結果規則化在(0,1)之間。 sigmoid函數飽和帶來的問題 1、 梯度消失 一種解決方法是在sigmoid層之前

>>阅读原文<<