深度學習中的激活函數總結

https://www.toutiao.com/a6678603633816240653/   從定義來講，只要連續可導的函數都可以作爲激活函數，但目前常見的多是分段線性和具有指數形狀的非線性函數。 Sigmoid   特點： - 輸出範圍0-1，很符合人的主觀意識，即神經元對感知的也是從不激活(0)到完全激活(1)。 - 單調連續 - 容易求導，導數爲$f(x)(1-f(x))$，用自己就可以表

>>阅读原文<<