第五週【任務1】簽到作業 過兒--《深度學習》花書訓練營【第五期】

a. 用公式說明爲何L2正則化又常被稱作「weight decay」   L2 regularization 又被叫做「權重衰減」，主要源於其在代價函數後面增加了一個正則化項。公式如下： 導致在[email protected]正則化後，代價函數進行求導如下： 可以發現L2正則化對b沒有影響，但是對w的更新產生了影響： 相比之下，w每次更新都會比沒有正則化的情況下小一些，因此起到了權重衰減（wei

>>阅读原文<<