deep learning 四種激活函數比較

sigmoid 又叫S型函數, 是最長用的激活函數, 特點是在定義域內均可導, 這樣可以避免出現學習停止現象, 因爲一直有梯度, 但也容易產生,在大批量學習時, 後期學習太慢, 因爲如果函數輸入值越大,梯度越小。在反向傳播時, 導致越來越小。最終梯度消失。 tanh 函數, 也是常見的激活函數,與sigmoid相似, 好比tanh拉長了就變成了sigmoid, 輸出爲-1, 1。輸出均值爲0。 爲
相關文章
相關標籤/搜索