深度學習中的常見優化問題

1. 偏差與方差 正則化 dropout正則化 1. 偏差與方差 區分偏差和方差，我們可以看訓練集上的誤差和驗證集上的誤差。 訓練集的誤差低，驗證集的誤差高，表現爲高方差，可能是過擬合了 訓練集的誤差高，驗證集與訓練集的誤差與訓練集誤差相當，表現爲高偏差，可能是欠擬合了 如圖所示： 直觀看，紅點表示真實值的範圍，藍點表示預測。 當藍點特別聚集時，表示低方差，當藍點特別稀疏時，表示高方差 當藍點特別

>>阅读原文<<