激活函數(ReLU, Swish, Maxout)

神經網絡中使用激活函數來加入非線性因素，提升模型的表達能力。html ReLU(Rectified Linear Unit,修正線性單元) 形式以下: \[ \begin{equation} f(x)= \begin{cases} 0, & {x\leq 0} \\\\ x, & {x\gt 0} \end{cases} \end{equation} \]git ReLU公式近似推導::githu

>>阅读原文<<