[機器學習必知必會]梯度下降法

前言 梯度下降法（gradient descent）是求解無約束最優化問題的一種最常用的方法，它是一種迭代算法，每一步需要求解目標函數的梯度向量。 問題抽象 是上具有一階連續偏導數的函數，要求解的無約束問題是:， 其中表示目標函數的極小值點 關鍵概念 迭代：選取適當初始值，不斷迭代更新的 值，直至收斂 梯度下降：負梯度方向是使函數值下降最快的方向，我們在迭代的每一步都以負梯度方向更新的值 收斂：給

>>阅读原文<<