知識蒸餾經典論文閱讀

這篇Hinton大佬的 Distilling the Knowledge in a Neural Network，是知識蒸餾領域的開山之作，第一次引入了知識蒸餾的概念。 整體的論文研究動機如下： 模型在工業落地對實時性和計算資源有要求高，尤其是像移動終端，需要在儘可能小的部署代價下快速得到準確預測結果 爲了提升模型準確率，往往採用集成學習的思想，用一組模型共同決策，而這更增加了模型的體量，所以Hi

>>阅读原文<<