常用優化算法介紹

作者：Walker 在機器學習的世界中，通常我們會發現有很多問題並沒有最優的解，或是要計算出最優的解要花費很大的計算量，面對這類問題一般的做法是利用迭代的思想盡可能的逼近問題的最優解。我們把解決此類優化問題的方法叫做優化算法，優化算法本質上是一種數學方法，常見的優化算法包括梯度下降法、牛頓法、Momentum、Nesterov Momentum、Adagrad、Adam等。其實大部分機器學習算法的

>>阅读原文<<