Rectified Linear Units, 線性修正單元激活函數

ReLU 在神經網絡中，常用到的激活函數有sigmoid函數： f(x)=11+e−x 而本文要介紹的是另外一種激活函數，Rectified Linear Unit Function(ReLU, 線性激活函數) ReLU函數可以表示爲 f(x)=max(0,x) 顯然，線性激活函數簡單地將閾值設置在零點，計算開銷大大降低，而且很多工作顯示 ReLU 有助於提升效果 sigmoid、tanh、ReL

>>阅读原文<<