關於梯度優化算法的一點點思考

梯度優化算法概念 優化算法自己是求函數的最大值或最小值，及對應參數取值的算法，包括粒子羣，梯度優化，搜索，遺傳等方法。梯度優化算法實際是經過函數的梯度信息進行找函數極值和該極值的參數取值的算法。web 一節梯度算法 一階梯度算法實際是在函數某處用泰勒公式的一階展開進行近似表示。而後經過沿着函數下降的方向更新參數，學習率不能太大，過大的學習率意味着偏離泰勒公式的初衷。由於泰勒公式近似是在函數某個地方

>>阅读原文<<