計算機視覺（三）

訓練與調優 激活函數 1、sigmoid函數不再適用的原因：1）在某些情況下梯度會消失，不利於反向傳播，例如，當輸如的值過大或過小時，根據函數的圖像，返回的梯度都會是0，阻斷了梯度的反向傳播。2）不是以0爲中心，梯度更新低效 2、tanh函數：第二個問題可以避免，但第一個避免不了 3、relu：又快又簡單，最接近神經元的工作過程，但仍有缺點，例如不以0爲中心，負半軸容易出現梯度的消失 4、leak

>>阅读原文<<