ReLU

ReLU Relu(rectified liner unit) 線性修正單元 ​ 在深度神經網絡中，通常使用一種叫**修正線性單元(Rectified linear unit，ReLU）**作爲神經元的激活函數。ReLU起源於神經科學的研究：2001年，Dayan、Abott從生物學角度模擬出了腦神經元接受信號更精確的激活模型，如下圖： 其中橫軸是時間(ms)，縱軸是神經元的放電速率(Firing

>>阅读原文<<