L1和L2正則化原理及分析

正則化 是指在優化目標函數或代價函數是，在目標函數後面加上一個正則項。正則項通常有L1正則項和L2正則項。 1. L1正則  L1正則是基於L1範數和項，即參數的絕對值和參數的積項，即：  C=C0+λn∑w|w|C=C0+λn∑w|w| 其中C0代表原始的代價函數，n是樣本的個數，λ就是正則項係數，權衡正則項與C0項的比重。後面那一項即爲L1正則項。  在計算梯度時，w的梯度變爲：  ∂C∂w=

>>阅读原文<<