深度學習：正則化（L2、dropout）

一、在瞭解正則化之前，先引入一個概念「過擬合」   定義 給定一個假設空間H，一個假設h屬於H，如果存在其他的假設h’屬於H,使得在訓練樣例上h的錯誤率比h’小，但在整個實例分佈上h’比h的錯誤率小，那麼就說假設h過度擬合訓練數據。 也就是說 一個假設在訓練數據上能夠獲得比其他假設更好的擬合， 但是在訓練數據外的數據（試驗集）集上卻不能很好地擬合數據，此時認爲這個假設出現了過擬合的現象。出現這種現

>>阅读原文<<