知識蒸餾（Distillation）

Hinton的文章《Distilling the Knowledge in a Neural Network》首次提出了知識蒸餾的概念，通過引入教師網絡用以誘導學生網絡的訓練，實現知識遷移。所以其本質上和遷移學習有點像，但實現方式是不一樣的。用「蒸餾」這個詞來形容這個過程是相當形象的。用下圖來解釋這個過程。 教師網絡：大規模，參數量大的複雜網絡模型。難以應用到設備端的模型。 學生網絡：小規模，參數

>>阅读原文<<