深度學習 | 訓練網絡trick——知識蒸餾

1.原理介紹 知識蒸餾論文地址 Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知識蒸餾的概念，通過引入教師網絡用以誘導學生網絡的訓練，實現知識遷移。所以其本質上和遷移學習有點像，但實現方式是不一樣的。用「蒸餾」這個詞來形容這個過程是相當形象的。用下圖來解釋這個過程。 教師網絡：大規模，參數量大的複雜網絡模型。難以應用到設備端

>>阅读原文<<