hint-based learning快速理解

FITNETS: HINTS FOR THIN DEEP NETS 論文地址:https://arxiv.org/abs/1412.6550 這篇論文主要是研究如何在更深的學生網絡上取得更好的效果。之前提出的知識蒸餾，是用比較小的學生模型來模仿比較大的老師模型的知識、信息、輸出，在這裏爲了取得更好的表現，我們希望學生模型更大一點更深一點，更爲了防止更深的網絡在模仿時出錯，我們不知考慮老師模型的最終

>>阅读原文<<