神經網絡中的常用激活函數總結

©PaperWeekly 原創 · 作者｜張文翔 單位｜京東集團算法工程師 研究方向｜推薦算法 激活函數之性質 1. 非線性：即導數不是常數。保證多層網絡不退化成單層線性網絡。這也是激活函數的意義所在。  2. 可微性：保證了在優化中梯度的可計算性。雖然 ReLU 存在有限個點處不可微，但處處 subgradient，可以替代梯度。 3. 計算簡單：激活函數複雜就會降低計算速度，因此 RELU 要

>>阅读原文<<