L1和L2正則項的學習

參考鏈接1 關於稀疏性的問題,我們不做過多的研究與討論,進我們我們從MAP的角度看看L1和L2正則項會讓參數W變成一個什麼樣的分佈。 從MAP的角度看的話,我們加入正則項的目的相當於給模型先驗項,而L1和L2的區別在於,我們是預先覺得我們的模型屬於什麼分佈的? 如果我們預先覺得模型的參數w分佈符合:標準拉普拉斯分佈,那麼這就是L1正則化: 如果認爲是標準的正太分佈的化:那麼他就可以轉化爲L2分佈:
相關文章
相關標籤/搜索