梯度降低學習率的設定策略

發現一篇寫的很好的關於學習率的文章 本文轉載自盧明冬的博客-梯度降低學習率的設定策略html 1.學習率的重要性 1）學習率設置過小，須要花費過多的時間來收斂 2）學習率設置較大，在最小值附近震盪卻沒法收斂到最小值 3）進入局部極值點就收斂，沒有真正找到的最優解 4）停在鞍點處，不可以在另外一維度繼續降低 梯度降低算法有兩個重要的控制因子：一個是步長，由學習率控制；一個是方向，由梯度指定。web

>>阅读原文<<