基於Knowledge Distillation的增量學習論文學習（之三）——End-to-End Incremental Learning

這是ECCV2018的一個工作，提出了端到端的增量學習。 動機：目前深度學習在處理增量學習問題時面臨着「災難遺忘」的問題，作者認爲其主要原因是對新類別數據訓練師，無法使用舊數據。爲此，作者提出端到端增量學習，其思路是，選出一部分具有代表性的舊數據，與新類別數據組成訓練集對模型進行更新訓練。訓練的損失函數包括兩部分，對舊類別數據的蒸餾交叉損失，對新數據的交叉熵損失。 作者的認識：一個真正的增量深度學

>>阅读原文<<