最優化算法之梯度下降法

0 前言     優化問題最常見的求解方式是迭代優化，常見的優化算法有梯度下降。因此來記錄下梯度下降算法。 1  原理     優化的目標是損失函數最小化，函數的梯度方向代表了函數值增長最快的方向，那麼和它相反的方向就是函數減少速度最快的方向。梯度下降的優化思想是用當前位置負梯度（相反方向）方向作爲搜索方向，也稱「最速下降法」。梯度下降法是迭代算法，每一步需要求解目標函數與梯度向量。      

>>阅读原文<<