7.2正則化-學習筆記

正則化可以提高單一模型的效果,我們在模型中加入一些成分來防止過擬合。 我們在損壞函數中多加一項,第一項是讓模型擬合數據,第二項則是正則項。 L2有可能意義有些不明確,目前常見的正則項的方式是dropout dropout的道理很簡單,我們在每一層的隨機層,將一部分的神經元置零,每次正向傳播過程中,隨機被置零的神經元都不同,每次處理神經元的一層,可以從上圖發現,經過dropout後神經網絡的大小變小
相關文章
相關標籤/搜索