網絡退化、過擬合、梯度消散/爆炸

過擬合 指的是模型在訓練數據集上表現良好，在測試數據集上表現很差。 原因 模型將對訓練數據過學習，將訓練數據的特性當成共性學習進去（對數據的細節刻畫的過於仔細）。當過擬合模型應用在測試數據集上時，由於測試數據集並不具備有訓練數據獨有的特性，所以造成模型泛化能力差，在測試數據集上表現不佳。 應對方法 增大網絡規模 擴大訓練集數據 對模型使用正則化，平衡數據集大小和模型複雜度 Dropout，主要用於

>>阅读原文<<