最優化算法(四)

OWL-QN算法 上一篇介紹的L-BFGS只能解平滑問題，但是對於非平滑問題比如機器學習中常見的帶L1正則的問題就解決不了，因此微軟提出一種基於L-BFGS的優化算法OWL-QN算法，QWL-QN算法最大的特點是可以解非平滑問題，並且收斂速度比L-BFGS要快。 算法思想與僞梯度 算法具體的思想是，把目標函數投影到各個象限上，然後在各個象限上單獨求解，並且限制象限，這樣比如說L1正則項如果投影並且

>>阅读原文<<