CS231n學習筆記六

激活函數 sigmoid : σ ( x ) = 1 / ( 1 + e − x ) \sigma(x)=1/(1+e^{-x}) σ(x)=1/(1+e−x) 特點: 將輸入的值壓縮到 [ 0 , 1 ] [0,1] [0,1]之間 通常很流行,因爲它有一個很好的解釋,可以表示一個神經元的飽和「放電率」 存在的問題: 會使梯度消失,當輸入 x x x爲很大的正數或很小的負數時,他們位於sigmo
相關文章
相關標籤/搜索