神經網絡-常用激活函數

https://www.jianshu.com/p/b8ded87e0c0c   常用的激活函數有三種： 1.Sigmoid or Logistic 2.Tanh-雙曲正切 3.ReLu-線性整流函數 Sigmoid 激活函數： f(x) = 1 / 1 + exp(-x) 該函數的取值範圍爲0到1。這是一個S型曲線，容易理解和使用，但是有缺陷：1）消失的梯度問題， 2）輸出不是以0爲中心的，它會

>>阅读原文<<