在神經網絡中提取知識：學習用較小的模型學得更好

在傳統的機器學習中，爲了獲得最先進的（SOTA）性能，我們經常訓練一系列整合模型來克服單個模型的弱點。 但是，要獲得SOTA性能，通常需要使用具有數百萬個參數的大型模型進行大量計算。 SOTA模型（例如VGG16 / 19，ResNet50）分別具有138+百萬和23+百萬個參數。 在邊緣設備部署這些模型是不可行的。 智能手機和IoT傳感器等邊緣設備是資源受限的設備，無法在不影響設備性能的情況下進

>>阅读原文<<