ReLU特點, 與其它激活函數對比

一、什麼是稀疏激活函數（ReLU） ReLU全稱是Rectified Liner Uints,其具體形式爲y=max(0,x)。 ReLU具有：1、單側抑制；2、相對寬闊的興奮邊界；3、稀疏激活性等優點。 二、爲什麼ReLU更有效？ 生物研究表明：生物神經元只對輸入信號中很少部分進行響應，大部分信號則被刻意屏蔽掉了。這樣做可以更好的提高學習精度，更好更快的提取稀疏特徵。這表現爲生物神經元的稀疏激活

>>阅读原文<<