常見的集中優化方法

1.梯度下降 以下均參考http://www.javashuo.com/article/p-wxhlukmx-n.html （1）簡介 梯度下降法是最早最簡單，也是最爲常用的最優化方法。梯度下降法實現簡單，當目標函數是凸函數時，梯度下降法的解是全局解。一般情況下，其解不保證是全局最優解，梯度下降法的速度也未必是最快的。梯度下降法的優化思想是用當前位置負梯度方向作爲搜索方向，因爲該方向爲當前位置的最

>>阅读原文<<