激活函數

激活函數」能分成兩類——「飽和激活函數」和「非飽和激活函數」。 sigmoid和tanh是「飽和激活函數」，而ReLU及其變體則是「非飽和激活函數」。使用「非飽和激活函數」的優勢在於兩點：     1.首先，「非飽和激活函數」能解決所謂的「梯度消失」問題。     2.其次，它能加快收斂速度。     Sigmoid函數需要一個實值輸入壓縮至[0,1]的範圍     σ(x) = 1 / (1 +

>>阅读原文<<