深入理解ReLU、Leaky ReLU、 PReLU、ELU、Softplus

文章目錄 ReLU Leaky ReLU PReLU ELU Softplus ReLU ReLU（Rectified Linear Unit，修正線性單元），也叫Rectifier 函數，它的定義如下： Relu可以實現單側抑制（即把一部分神經元置0），能夠稀疏模型， Sigmoid 型活tanh激活函數會導致一個非稀疏的神經網絡，而Relu大約 50% 的神經元會處於激活狀態，具有很好的稀疏性

>>阅读原文<<