正則化如何防止過擬合

來自Ng課件。 當加入了Lambd懲罰項後，權值接近於0，網絡的大部分結點被消除，網絡由high variance 狀態變爲high bias狀態。 假設g(z)只用雙曲正切函數，函數圖像如圖。如果z太大或者太小，正切函數範圍到非線性部分。如果z在0附近，正確函數範圍在線性部分。如果lambd很大，權值W就會被懲罰的很小，Z就會落在0附近，函數區間落在線性部分，整個網絡接近簡單的線性函數，不是複雜

>>阅读原文<<