CS231n學習筆記六

激活函數 sigmoid : σ ( x ) = 1 / ( 1 + e − x ) \sigma(x)=1/(1+e^{-x}) σ(x)=1/(1+e−x) 特點: 將輸入的值壓縮到 [ 0 , 1 ] [0,1] [0,1]之間 通常很流行，因爲它有一個很好的解釋，可以表示一個神經元的飽和「放電率」 存在的問題: 會使梯度消失，當輸入 x x x爲很大的正數或很小的負數時，他們位於sigmo

>>阅读原文<<