knowledge distillation論文閱讀之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation

文章目錄 論文核心思路： 1. 經典的 KD 2. Teacher-free distillation（TF-KD） 3. Lightweight knowledge distillation（LW-KD） 3.1 生成 synthetic MNIST 合成數據集 3.2 生成 soft target 軟標籤 3.3 改進 KD loss function：enhanced L K D L_{KD

>>阅读原文<<