最優化算法簡單對比 梯度下降 牛頓迭代 座標下降

梯度下降法、牛頓迭代法和座標下降法        最優化方法是一種數學方法，它是研究在給定約束之下如何尋求某些因素(的量)，以使某一(或某些)指標達到最優的一些學科的總稱。大部分的機器學習算法的本質都是建立優化模型，通過最優化方法對目標函數（或損失函數）進行優化，從而訓練出最好的模型。常見的最優化方法有梯度下降法、牛頓法和擬牛頓法、座標下降法等等。 梯度下降法 梯度下降法是迭代法的一種,可以用於求

>>阅读原文<<