神經網絡-常用激活函數

https://www.jianshu.com/p/b8ded87e0c0c   常用的激活函數有三種: 1.Sigmoid or Logistic 2.Tanh-雙曲正切 3.ReLu-線性整流函數 Sigmoid 激活函數: f(x) = 1 / 1 + exp(-x) 該函數的取值範圍爲0到1。這是一個S型曲線,容易理解和使用,但是有缺陷:1)消失的梯度問題, 2)輸出不是以0爲中心的,它會
相關文章
相關標籤/搜索