激活函數-Sigmoid,Tanh,ReLu,softplus,softmax

不管是傳統的神經網絡模型還是時下熱門的深度學習，我們都可以在其中看到激活函數的影子。所謂激活函數，就是在神經網絡的神經元上 運行的函數，負責將神經元的輸入映射到輸出端。常見的激活函數包括Sigmoid、TanHyperbolic(tanh)、ReLu、 softplus以及softmax函數。 這些函數有一個共同的特點那就是他們都是非線性的函數。那麼我們爲什麼要在神經網絡中引入非線性的激活函數呢？

>>阅读原文<<