機器學習的激勵函數的故事

1）七種激活函數列舉： 2）解析列舉 3）總結： 1）最早的是sigmoid,它與tanh換湯不換藥，都有梯度飽和效應的侷限，讓大部分網絡癱瘓， 2）目前最常用的是ReLU，但是一定要注意參數初始化和學習率的選擇設置(這裏還是個問題！！！) 3）爲了提高模型精度，我們會去考慮那部分輸出爲零一下的梯度，於是分別出現了：Leaky ReLU,參數化ReLU,隨機化ReLU,和指數化ELU 4）分析一個

>>阅读原文<<