深度學習論文筆記——Distilling the Knowledge in a Neural Network

文章目錄 主要工作 motivation method 實驗 主要工作 提出一種知識蒸餾的方法，可以壓縮模型，讓小模型達到與集成亦或是大型模型相似的性能 提出一種新的集成學習方法，可以讓模型訓練速度更快，並且是並行訓練 本文只總結第一點 motivation 大型模型往往不適合線上部署，一方面是計算資源消耗大，另一方面是響應速度慢，因此Hinton便考慮是否可以將大模型的知識遷移到小模型上，這裏有

>>阅读原文<<