經常使用優化算法介紹

做者：Walkerweb 在機器學習的世界中，一般咱們會發現有不少問題並無最優的解，或是要計算出最優的解要花費很大的計算量，面對這類問題通常的作法是利用迭代的思想盡量的逼近問題的最優解。咱們把解決此類優化問題的方法叫作優化算法，優化算法本質上是一種數學方法，常見的優化算法包括梯度降低法、牛頓法、Momentum、Nesterov Momentum、Adagrad、Adam等。其實大部分機器學習算法

>>阅读原文<<