ELU激活函數

           ELU激活函數              融合了sigmoid和ReLU，左側具備軟飽和性，右側無飽和性。 右側線性部分使得ELU可以緩解梯度消失，而左側軟飽可以讓ELU對輸入變化或噪聲更魯棒。 ELU的輸出均值接近於零，因此收斂速度更快。 在 ImageNet上，不加 Batch Normalization 30 層以上的 ReLU 網絡會沒法收斂，PReLU網絡在MSRA

>>阅读原文<<