激活函數（Activation Function）

咱們知道，神經網絡模型中，各隱藏層、包括輸出層都須要激活函數（Activation Function）。咱們比較熟悉的、經常使用的激活函數也有 ReLU、Sigmoid 等等。可是，對於各個激活函數的選取方法、區別特色還有幾點須要特別注意的地方。今天就給你們總結一下經常使用激活函數 Sigmoid、tanh、ReLU、Leaky ReLU、ELU、Maxout 的關鍵知識點。網絡 1 . 爲何須要

>>阅读原文<<