卷積神經網絡(CNN)介紹07-正則化

L1正則化 L1範數是指向量中各個元素絕對值之和,也有個美稱叫「稀疏規則算子」(Lasso regularization) (任何的規則化算子,如果他在Wi=0的地方不可微,並且可以分解爲一個「求和」的形式,那麼這個規則化算子就可以實現稀疏。) 既然L0可以實現稀疏,爲什麼不用L0,而要用L1呢? 個人理解一是因爲L0範數很難優化求解(NP難問題),二是L1範數是L0範數的最優凸近似,而且它比L0
相關文章
相關標籤/搜索