知識蒸餾方法的演進歷史綜述

作者：Nishant Nikhil 編譯：ronghuaiyang 導讀 帶你瞭解知識蒸餾的演進歷史。 歷史 2012年，AlexNet在ImageNet數據上的表現超過了所有現有模型。神經網絡即將被廣泛採用。到2015年，許多SOTA都被打破了。業界的趨勢是在你能找到的任何場景上都使用神經網絡。VGG Net的成功進一步肯定了採用可以使用更深層次模型或模型集成來提高性能。 (模型集合只是一個花哨

>>阅读原文<<