梯度下降中的線性搜索-Line search

       在普通的梯度下降過程中通常使用這個公式來更新參數， ,而學習率的選擇就顯得非常的重要了，如上圖所示，學習率選擇過小，就會導致左圖的情況，學習率過小在到達碗底平緩地區，導數值也非常小，從而導致損失函數移動的速度非常的慢，使得很難儘快的收斂，如果學習率設置過大，導致損失值來回震盪，很難取到最優值。 接下來，我們講解一下，一個可以合理選擇步長的方法 -Line Search,這種方法能夠保

>>阅读原文<<