神經網絡優化----正則化

過擬合：神經網絡模型在訓練數據集上的準確率較高，在新的數據進行預測或分類時準確率較低，說明模型的泛化能力差。 正則化：在損失函數中給每個參數w加上權重，引入模型複雜度指標，從而抑制模型噪聲，減小過擬合。 使用正則化後，損失函數loss變爲兩項之和： loss = loss(y與y_) + REGULARIZER * loss(w) 其中，第一項是預測解鎖與標準答案之間的差距，如之前講過的交叉熵、均

>>阅读原文<<