深度學習論文筆記（知識蒸餾）——Distilling the Knowledge in a Neural Network

文章目錄 主要工做 motivation method 實驗 主要工做 提出一種知識蒸餾的方法，能夠壓縮模型，讓小模型達到與集成亦或是大型模型類似的性能 提出一種新的集成學習方法，可讓模型訓練速度更快，而且是並行訓練 本文只總結第一點html motivation 大型模型每每不適合線上部署，一方面是計算資源消耗大，另外一方面是響應速度慢，所以Hinton便考慮是否能夠將大模型的知識遷移到小模型上

>>阅读原文<<