激活函數

   ELU激活函數                http://www.javashuo.com/article/p-dnokdndo-nd.html  融合了sigmoid和ReLU，左側具有軟飽和性，右側無飽和性。 右側線性部分使得ELU能夠緩解梯度消失，而左側軟飽能夠讓ELU對輸入變化或噪聲更魯棒。 ELU的輸出均值接近於零，所以收斂速度更快。 在 ImageNet上，不加 Batch N

>>阅读原文<<