【轉載】ReLU**函數：簡單之美

導語 在深度神經網絡中，通常使用一種叫修正線性單元(Rectified linear unit，ReLU）作爲神經元的**函數。ReLU起源於神經科學的研究：2001年，Dayan、Abott從生物學角度模擬出了腦神經元接受信號更精確的**模型，如下圖： 其中橫軸是時間(ms)，縱軸是神經元的放電速率(Firing Rate)。同年，Attwell等神經科學家通過研究大腦的能量消耗過程，推測神經元

>>阅读原文<<