神經網絡CNN訓練心得--調參經驗

1.樣本要隨機化，防止大數據淹沒小數據網絡 2.樣本要作歸一化。關於歸一化的好處請參考：爲什麼須要歸一化處理 3.激活函數要視樣本輸入選擇(多層神經網絡通常使用relu) 4.mini batch很重要，幾百是比較合適的(很大數據量的狀況下) 5.學習速率(learning rate)很重要，好比一開始能夠lr設置爲0.01，而後運行到loss不怎麼降的時候，學習速率除以10，接着訓練 6.權重初

>>阅读原文<<