卷積神經網絡的調參技巧2

卷積神經網絡的調參技巧2 激活函數調參技巧 1.對於稀疏數據，使用學習率自適應方法 2.隨機梯度下降（SGD）,通常訓練時間長，最終效果比較好，但需要好的初始化和learning_rate 3.需要訓練較深複雜的網絡且需要快速收斂的時候，推薦使用Adam，並且設一個比較小的學習率 4.adagrad。RMSprop，Adam是比較相近的算法。在相似的情況表現差不多。其他另外2個比Adam比較不穩定

>>阅读原文<<