Similarity-Preserving Knowledge Distillation

Motivation 下圖可以發現，語義相似的輸入會產生相似的**。這個非常好理解，這個C維的特徵向量可以代表該輸入的信息 因此本文根據該觀察提出了一個新的蒸餾loss，即一對輸入送到teacher中產生的特徵向量很相似，那麼送到student中產生的特徵向量也應該很相似，反義不相似的話同樣在student也應該不相似。 該loss被稱爲Similarity-preserving，這樣studen

>>阅读原文<<