常用**函數及其優缺點

常用**函數及其優缺點 常用的**函數包括sigmoid、tanh、ReLu、Leaky ReLU等，其中sigmoid、tanh存在飽和區間，在反向傳播時容易導致梯度消失的問題，而ReLU函數不存在飽和區間，有效避免了梯度消失的問題，但是由於ReLU函數在小於0的區間內輸出爲0，當反向傳播時會導致部分神經元失活的問題，Leaky ReLU在繼承了ReLU函數優點的基礎上，在小於0的區間上增加了一

>>阅读原文<<