深度學習：權重衰減（weight decay）與學習率衰減（learning rate decay）

正則化方法：防止過擬合，提高泛化能力 避免過擬合的方法有很多：early stopping、數據集擴增（Data augmentation）、正則化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。 權重衰減（weight decay） L2正則化的目的就是爲了讓權重衰減到更小的值，在一定程度上減少模型過擬合的問題，所

>>阅读原文<<