Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy

ICLR-2018 摘要 深度學習網絡在計算機視覺工作（如圖像分類和對象檢測）方面取得了最先進的準確性。然而，高性能系統通常涉及具有許多參數的大型模型。一旦訓練完成，這些表現最佳的模型的一個挑戰性方面就是在資源受限的推理系統上進行部署 - 模型（通常是深度網絡或寬網絡或兩者）都是計算和內存密集型的。使用低精度數值和基於知識蒸餾的模型壓縮是降低這些部署模型的計算要求和內存佔用的常用技術。在本文中，我

>>阅读原文<<