深度學習中常見的激活函數

　　上一篇文章介紹了激活函數的作用，就想一併整理一下深度學習領域中常見的激活函數。在深度學習中，常見的激活函數有三種：sigmoid函數，tanh函數，ReLU函數。我們可以在LSTM網絡中同時見到tanh函數和sigmoid函數，ReLU函數對於CNN則是不可缺少的。 　　下面分別進行介紹。 　　1.sigmoid函數（S型增長函數） 　　sigmoid函數能夠將取值爲$(-\infty,+\i

>>阅读原文<<