神經網絡剖析激活函數優缺點（Undetanding the difficulty of training deep feedforward neural networks）

摘要：在2006年以前，似乎深度多層的神經網絡沒有被成功訓練過。自那以後少數幾種算法顯示成功地訓練了它們，實驗結果表明了深度多層的架構的優越性。所有這些實驗結果都是通過新的初始化或訓練機制獲得的。我們的目標是更好地理解爲什麼隨機初始化的標準梯度下降法在深度神經網絡下表現如此糟糕，爲了更好地理解最近的相對成功並幫助設計未來更好的算法。我們首先觀察了非線性激活函數的影響。我們發現logistic si

>>阅读原文<<