激活函數的選擇，sigmoid/tanh/ReLU的比較

原文: https://www.cnblogs.com/makefile/p/activation-function.html#undefined © 康行天下（只摘取部份內容）html 激活函數選擇 首先嚐試ReLU,速度快,但要注意訓練的狀態. 若是ReLU效果欠佳,嘗試Leaky ReLU或Maxout等變種。 嘗試tanh正切函數(以零點爲中心,零點處梯度爲1) sigmoid/tanh在

>>阅读原文<<