深度學習中常見的激活函數

  上一篇文章介紹了激活函數的作用,就想一併整理一下深度學習領域中常見的激活函數。在深度學習中,常見的激活函數有三種:sigmoid函數,tanh函數,ReLU函數。我們可以在LSTM網絡中同時見到tanh函數和sigmoid函數,ReLU函數對於CNN則是不可缺少的。   下面分別進行介紹。   1.sigmoid函數(S型增長函數)   sigmoid函數能夠將取值爲$(-\infty,+\i
相關文章
相關標籤/搜索