ReLU激活函數：簡單之美

導語 在深度神經網絡中，通常使用一種叫修正線性單元(Rectified linear unit，ReLU）作爲神經元的激活函數。ReLU起源於神經科學的研究：2001年，Dayan、Abott從生物學角度模擬出了腦神經元接受信號更精確的激活模型，如下圖：   其中橫軸是時間(ms)，縱軸是神經元的放電速率(Firing Rate)。同年，Attwell等神經科學家通過研究大腦的能量消耗過程，推測神

>>阅读原文<<