激活函數詳解

激活函數詳解 ELU函數        ELUs是「指數線性單元」，它試圖將激活函數的平均值接近零，從而加快學習的速度。同時，它還能經過正值的標識來避免梯度消失的問題。根據一些研究，ELUs分類精確度是高於ReLUs的。具備relu的優點，且輸出均值接近零，實際上prelu和LeakyReLU都有這一優勢。有負數飽和區域，從而對噪聲有一些魯棒性。能夠看作是介於relu和LeakyReLU之間的一個

>>阅读原文<<