關於L1和L2正則

正則化目的：在loss function中加入正則項，減小過擬合問題 L0範數 L0範數表示向量中非零元素的個數： 也就是如果我們使用L0範數，即希望w的大部分元素都是0. （w是稀疏的）所以可以用於ML中做稀疏編碼，特徵選擇。通過最小化L0範數，來尋找最少最優的稀疏特徵項。但不幸的是，L0範數的最優化問題是一個NP hard問題，而且理論上有證明，L1範數是L0範數的最優凸近似，因此通常使用L1

>>阅读原文<<