深度學習集錦1

1、relu優點 1、可以使網絡訓練更快 2、增加網絡的非線性 3、防止梯度消失(彌散) 4、使網絡具有稀疏性(可以使一些神經元輸出爲0) **函數tanh(x)或sigmoid(x)，這些飽和的非線性**函數比非飽和非線性**函數relu訓練更慢。採用relu的深度卷積神經網絡訓練時間比等價的tanh單元要快幾倍。 2、dropout 作用：隨機將一定比例的神經元置爲0。 對於一個有N個節點的神

>>阅读原文<<