座標下降法(Coordinate descent)

座標下降法屬於一種非梯度優化的方法，它在每步迭代中沿一個座標的方向進行搜索，通過循環使用不同的座標方法來達到目標函數的局部極小值。 相當於每次迭代都只是更新x的一個維度，即把該維度當做變量，剩下的n-1個維度當作常量,通過最小化f(x)來找到該維度對應的新的值。座標下降法就是通過迭代地構造序列x0,x1,x2,… 來求解問題，即最終點收斂到期望的局部極小值點。通過上述操作，顯然有：        

>>阅读原文<<