機器學習超參調整經驗

訓練偏差應該穩步減少，剛開始是急劇減少，最終應隨着訓練收斂達到平穩狀態。 若是訓練還沒有收斂，嘗試運行更長的時間。 若是訓練偏差減少速度過慢，則提升學習速率也許有助於加快其減少速度。 但有時若是學習速率太高，訓練偏差的減少速度反而會變慢。 若是訓練偏差變化很大，嘗試下降學習速率。 較低的學習速率和較大的步數/較大的批量大小一般是不錯的組合。 批量大小太小也會致使不穩定狀況。不妨先嚐試 100 或

>>阅读原文<<