非線性激勵函數sigmoid，tanh，softplus，Relu

目前有四種常見的非線性激勵函數： sigmoid函數： tanh函數： softplus函數： Relu函數： 其對應得函數圖像如下： 函數種類 優點 缺點 sigmoid函數 在整個定義域內可導 gradient在飽和區域非常平緩，接近於0，很容易造成vanishing gradient的問題，減緩收斂速度。 算激活函數時（指數運算），計算量大，反向傳播求誤差梯度時，求導涉及除法，計算量相對大

>>阅读原文<<