深度學習筆記——深度學習技巧

1、模型在訓練數據上表現不好，why？ （1）過擬合 （2）激活函數 （3）學習率 2、梯度消失？    盲目增加網絡層數很容易導致發生梯度消失現象，尤其是使用sigmoid作爲激活函數的時候。sigmoid函數的特點使得權重很大的改變對輸出產生很小的影響，當層數很多時這種影響甚至可以忽略不計。在權重更新環節，靠近輸出端的權重梯度較大，靠近輸入端的權重梯度很小，這使得後端權重更新的很快、很快就收斂

>>阅读原文<<