爲什麼用-Relu

ReLU起源於神經科學的研究：2001年，Dayan、Abott從生物學角度模擬出了腦神經元接受信號更精確的激活模型，如下圖：  Attwell等神經科學家通過研究大腦的能量消耗過程，推測神經元的工作方式具有稀疏性和分佈性；因此Relu也有了單側抑制性，讓神經網絡也具備稀疏性。（具備稀疏性計算都不要那麼多了，很舒服很輕鬆，同時稀疏性也能夠突顯重要特徵。）   相比於其它激活函數來說，ReLU有以下

>>阅读原文<<