自適應RELU

論文：https://ieeexplore.ieee.org/document/8998530 問題 RELU的應用是激活函數中最爲廣泛的，因爲他在反向傳播時梯度是1，這就避免了因爲激活函數導致的梯度消失和梯度爆炸問題，但是存在的缺點是，在負區時梯度會爲0，導致大面積神經元的梯度死區。所以Leaky RELU誕生了。但是依舊存在問題時，leaky relu存在超參數，人爲設定會需要先驗經驗。 何愷

>>阅读原文<<