模型壓縮中知識蒸餾技術原理及其發展現狀和展望

知識蒸餾是非常經典的基於遷移學習的模型壓縮技術，在學術界的研究非常活躍，工業界也有許多的應用和較大的潛力，本文給大家梳理知識蒸餾的核心技術，發展現狀，未來展望以及學習資源推薦。 1 知識蒸餾基礎 1.1 什麼是知識蒸餾 一般地，大模型往往是單個複雜網絡或者是若干網絡的集合，擁有良好的性能和泛化能力，而小模型因爲網絡規模較小，表達能力有限。利用大模型學習到的知識去指導小模型訓練，使得小模型具有與大模

>>阅读原文<<