深度學習入門筆記 Day10/15 與學習相關的技巧（二）

一、如何使用Weight Decay權值衰減或者Dropout技術緩解過擬合？ 過擬合現象是指在訓練集中表現優秀，但是在其他未知的數據集上表現很差的現象。 由於很多過擬合原本就是因爲權重參數取值過大才發生的。Weight Decay權值衰減法是通過最小化權值的二範數，使得所有權值都爲最小。 如果網絡的模型變得很複雜，只用權值衰減就難以應對了。在這種情況下，我們經常會使用 Dropout 方法。Dr

>>阅读原文<<