Regularizing Class-wise Predictions via Self-knowledge Distillation

解決的問題是圖像分類模型的過擬合，做法利用類class-wise 正則化項。思想是比如上圖，這個思想簡單的作爲KL散度中不動的一方，下面這個背景複雜的作爲動的一方，在類別預測的概率分佈上進行蒸餾，過濾掉黑暗知識。一個模型，兩個不同的樣本但是類別是一致的，帶有標籤。

>>阅读原文<<