神經網絡訓練過程中驗證集損失小於訓練集損失的三大主要原因

       相信不少人都發現過，在訓練自己搭建的神經網絡的過程中，驗證集的損失居然會小於訓練集(見圖1)。按照我個人的理解，理論上講，驗證集的損失應該是不小於訓練集的。那麼爲什麼會出現這種違背常規認知的現象呢？ 圖1   本文參考網絡其他資料，總結了三個主要的原因： 1. 在訓練的過程中應用了正則化，但是在對驗證集計算損失的時候沒有采用正則化。比如在損失函數中加入了L1，L2等正則項，或者dro

>>阅读原文<<