飽和和非飽和**函數

右飽和： 當x趨向於正無窮時，函數的導數趨近於0，此時稱爲右飽和。 左飽和： 當x趨向於負無窮時，函數的導數趨近於0，此時稱爲左飽和。 飽和函數和非飽和函數： 當一個函數既滿足右飽和，又滿足左飽和，則稱爲飽和函數，否則稱爲非飽和函數。 常用的飽和**函數和非飽和**函數： 飽和**函數有如Sigmoid和tanh，非飽和**函數有ReLU；相較於飽和**函數，非飽和**函數可以解決「梯度消失」的問

>>阅读原文<<