知識蒸餾（Knowledge Distillation）

1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知識蒸餾（暗知識提取）的概念，通過引入與教師網絡（teacher network：複雜、但推理性能優越）相關的軟目標（soft-target）作爲total loss的一部分，以誘導學生

>>阅读原文<<