神經網絡中常用的激活函數

ReLu $\max(0,z)$ 　　修正線性單元，是最常用的非線性映射函數。常在神經網絡隱層中使用，因爲它在反向傳播中計算導數十分方便。導數爲： $\left\{\begin{aligned}&1,z\ge0\\&0,z<0\end{aligned}\right.$ softplus  $\log(1+e^z)$ 　　ReLu的「軟化版」。導數爲： $\displaystyle 1-\frac{

>>阅读原文<<