CS231n課程學習筆記（六）——常用的激活函數總結

翻譯筆記：https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit 1.Sigmoid σ(x)=1(1+e−x) Sigmoid函數將實數壓縮到[0,1]之間，如下圖左所示。現在sigmoid函數已經不太受歡迎，實際很少使用了，這是因爲它有兩個主要缺點： Sigmoid函數飽和使梯度消失 ，當神經元的激活在接近0或者1時會飽和，在這些

>>阅读原文<<