7. 深度學習實踐：正則化

正則化：ML中的一種策略，可減少測試誤差，提高模型泛化能力。 開發更有效的正則化策略：深度學習領域主要研究工作之一。 模型族訓練的三個過程： 不包括真實的數據生成過程，欠擬合和含有偏差。 匹配真實數據生成過程 除了2中，還包括許多其他可能的生成過程，方差主導的過擬合 正則化的目標：使得模型從第3種轉化爲第2種。 1. 參數範數懲罰 1.1 L2 參數正則化 權重衰減。 目標函數： 梯度爲： 單步梯

>>阅读原文<<