最優化算法(四)

OWL-QN算法 上一篇介紹的L-BFGS只能解平滑問題,但是對於非平滑問題比如機器學習中常見的帶L1正則的問題就解決不了,因此微軟提出一種基於L-BFGS的優化算法OWL-QN算法,QWL-QN算法最大的特點是可以解非平滑問題,並且收斂速度比L-BFGS要快。 算法思想與僞梯度 算法具體的思想是,把目標函數投影到各個象限上,然後在各個象限上單獨求解,並且限制象限,這樣比如說L1正則項如果投影並且
相關文章
相關標籤/搜索