神經網絡激活函數

激活函數分爲兩大類：飽和函數和非飽和函數。 非飽和函數的優點： (1)"非飽和激活函數」能解決所謂的「梯度消失」問題； (2)它能加快收斂速度。 常見的飽和函數：sigmoid、tanh； 常見的非飽和函數：ReLU等。 1.sigmoid sigmoid函數將一個實值輸入壓縮至[0,1]的範圍。 函數圖像如下： sigmoid的不足： 1.容易出現梯度消失； 2.函數輸出不是零中心； 3.指數函

>>阅读原文<<