一分鐘帶你認識深度學習中的知識蒸餾

摘要：知識蒸餾（knowledge distillation）是模型壓縮的一種常用的方法 一、知識蒸餾入門 1.1 概念介紹 知識蒸餾（knowledge distillation）是模型壓縮的一種常用的方法，不同於模型壓縮中的剪枝和量化，知識蒸餾是通過構建一個輕量化的小模型，利用性能更好的大模型的監督信息，來訓練這個小模型，以期達到更好的性能和精度。最早是由Hinton在2015年首次提出並應用

>>阅读原文<<