ReLu(Rectified Linear Units)激活函數

1 傳統Sigmoid系激活函數 傳統神經網絡中最常用的兩個激活函數，Sigmoid系（Logistic-Sigmoid 、Tanh-Sigmoid）被視爲神經網絡的核心所在。 從數學上來看，非線性的Sigmoid函數對中央區的信號增益較大，對兩側區的信號增益小，在信號的特徵空間映射上，有很好的效果。 從神經科學上來看，中央區酷似神經元的興奮態，兩側區酷似神經元的抑制態，因而在神經網絡學習方面，可

>>阅读原文<<