激活函數總結1:ReLU及其變體

激活函數可以被分爲2類，「飽和激活函數」和「非飽和激活函數」。sigmoid和tanh是「飽和激活函數」，而ReLU及其變體則是「非飽和激活函數」。使用「非飽和激活函數」的優勢在於兩點：     （1）首先，「非飽和激活函數」能解決所謂的「梯度消失」問題。     （2）其次，它能加快收斂速度。     Sigmoid函數需要一個實值輸入壓縮至[0,1]的範圍，σ(x) = 1 / (1 + ex

>>阅读原文<<