Distilling the Knowledge in a Neural Network

Neural Networks Are More Productive Teachers Than Human Raters 我們研究瞭如何通過從黑匣子教師模型中提煉知識，以數據高效的方式訓練學生深度神經網絡進行視覺識別。在這個問題上的進展可以大大降低學習高性能視覺識別模型對大規模數據集的依賴性。有兩個主要的挑戰，一是應儘量減少對教師模型的查詢次數，以節省計算和/或財務成本。另一個挑戰是，用於知識

>>阅读原文<<