最優化理論-線搜法(Line Search Methods)

分類 準確的線搜法：迭代次數肯定。如二分法，插值法，黃金分割法，etc. 非準確的線搜法：在一階優化中用得較多，用於肯定學習率（步長）。 二分法 以下圖，反覆交替肯定上下界，終止條件是最終通過 k k k次迭代後的上下界之間的距離小於預設的比較小的值： ( 1 2 ) k ( ˙ x U − x L ) ⩽ ϵ (\frac{1}{2})^k \dot (x_U-x_L) \leqslant \e

>>阅读原文<<