關於調節學習率(learning rate)的幾點建議

關於調節學習率的幾點建議 1.對於不一樣大小的數據集，調節不一樣的學習率 根據咱們選擇的成本函數F(x)不一樣，問題會有區別。當平方偏差和（Sum of Squared Errors）做爲成本函數時， ∂ F ( ω j ) ∂ ω j \frac{∂F(ω_j)} { ∂ω_j} ∂ωj​∂F(ωj​)​ 會隨着訓練集數據的增多變得愈來愈大，所以學習率須要被設定在相應更小的值上。 解決此類問題的

>>阅读原文<<