神經網絡中的激活函數（activation function）-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus

不管是傳統的神經網絡模型還是時下熱門的深度學習，我們都可以在其中看到激活函數的影子。所謂激活函數，就是在神經網絡的神經元上運行的函數，負責將神經元的輸入映射到輸出端。常見的激活函數包括**Sigmoid、TanHyperbolic(tanh)、ReLu、 softplus以及softmax函數。**這些函數有一個共同的特點那就是他們都是非線性的函數。那麼我們爲什麼要在神經網絡中引入非線性的激活函數

>>阅读原文<<