caffe學習速率

一個比較好的建議是，將學習速率（ learning rate α）初始化爲α≈0.01=102，然後在訓練（training）中當loss達到穩定時，將α除以一個常數（例如10），將這個過程重複多次。對於動量（momentum μ）一般設置爲μ=0.9，μ使weight的更新更爲平緩，使學習過程更爲穩定、快速。 參見下圖：

>>阅读原文<<