最優化算法之梯度降低法

0 前言     優化問題最多見的求解方式是迭代優化，常見的優化算法有梯度降低。所以來記錄下梯度降低算法。python 1  原理     優化的目標是損失函數最小化，函數的梯度方向表明了函數值增加最快的方向，那麼和它相反的方向就是函數減小速度最快的方向。梯度降低的優化思想是用當前位置負梯度（相反方向）方向做爲搜索方向，也稱「最速降低法」。梯度降低法是迭代算法，每一步須要求解目標函數與梯度向量。算

>>阅读原文<<