機器學習中的優化算法介紹

在機器學習中，有很多的問題並沒有解析形式的解，或者有解析形式的解但是計算量很大（譬如，超定問題的最小二乘解），對於此類問題，通常我們會選擇採用一種迭代的優化方式進行求解。   這些常用的優化算法包括：梯度下降法（Gradient Descent），共軛梯度法（Conjugate Gradient），Momentum算法及其變體，牛頓法和擬牛頓法（包括L-BFGS），AdaGrad，Adadelta

>>阅读原文<<