學習率a的計算標準

當學習率a非固定時，因爲梯度下降是找的最小值，那麼，在和給定的前提下，即尋找的最小值，即 進一步，如果h(α)可導，局部最小值處的α 滿足： 對於該二次近似函數： 兩種方法： 1、線性搜索(Line Search)（最簡單）      二分線性搜索(Bisection Line Search)  不斷將區間[α1, α2]分成兩半，選擇端點異號 的一側，知道區間足夠小或者找到當前最優學 習率。 2

>>阅读原文<<