【2017CS231n】第六講：訓練神經網絡（上）

一.激活函數 輸入與權重W作用後，輸入到非線性的激活函數。激活函數有以下幾類： 1.1 Sigmoid     當輸入元素輸入到sigmoid函數中，數據會被壓縮在[0,1]的範圍。當有一個非常大的輸入，那麼函數的輸出結果將非常接近於1。當輸入是一個絕對值很大的負數，那麼輸出接近於0。 Sigmoid函數存在以下三個問題： 1.Sigmoid飽和導致梯度流失     當我們的輸入值特別大時，這時函

>>阅读原文<<