座標下降法(Coordinate descent)和ADMM(交替方向乘子法)

座標下降法屬於一種非梯度優化的方法,它在每步迭代中沿一個座標的方向進行線性搜索(線性搜索是不需要求導數的),通過循環使用不同的座標方法來達到目標函數的局部極小值。 假設目標函數是求解的極小值,其中是一個n維的向量,我們從初始點開始(是我們猜想的一個初值)對k進行循環: 相當於每次迭代都只是更新的一個維度,即把該維度當做變量,剩下的n-1個維度當作常量,通過最小化來找到該維度對應的新的值。座標下降法
相關文章
相關標籤/搜索