L1正則化求導問題

L1正則化求導問題 在實現機器學習算法時，最常用的是L2正則化，因爲L2正則化有連續可微的性質，易求導。但L1能產生稀疏解，而且稀疏解的泛化能力會比較好，不過由於L1正則化並不是處處連續的，所以優化的時候會有一定難度。 對於目標函數不是連續可微的情況，可以用次梯度來進行優化，但次梯度存在兩個問題： 求解慢 通常不會產生稀疏解 次梯度定義：次梯度，次導數 此時可以用 Proximal Algorit

>>阅读原文<<