知識蒸餾

論文：Distilling the Knowledge in a Neural Network 目前的深度學習仍然處於「數據驅動」的階段，通常在模型訓練的時候，仍然需要從巨大且冗餘的數據中提取特徵結構，且需要巨大的資源消耗，但是不考慮實時性要求；最後訓練得到的模型大而笨重，但是模型預測精度較高。但是在實際應用中，有計算資源和延遲的限制，例如手機設備和芯片系統等等，那麼要如何使得模型減重且精度不損失

>>阅读原文<<