座標下降法

1.座標下降法 座標下降法,是一種非梯度優化算法,算法在每次迭代中，在當前點處沿一個座標方向進行一維搜索以求得一個函數的局部極小值。在整個過程中循環使用不同的座標方向。對於不可拆分的函數而言，算法可能無法在較小的迭代步數中求得最優解。爲了加速收斂，可以採用一個適當的座標系，例如通過主成分分析獲得一個座標間儘可能不相互關聯的新座標系. 對於一個函數,變量個數爲n,也即座標軸有n個,那麼在固定n-1個

>>阅读原文<<