知識蒸餾 | 模型壓縮利器_良心總結

1.什麼是知識蒸餾 最近利用知識蒸餾的方法，對業務中的性能有了可觀的提升，因此在這裏總結一波。本文主要從宏觀的角度分析一下各個蒸餾算法的蒸餾方式，具體細節可以根據興趣閱讀論文~ 知識蒸餾是一種模型壓縮常見方法，用於模型壓縮指的是在teacher-student框架中，將複雜、學習能力強的網絡學到的特徵表示「知識蒸餾」出來，傳遞給參數量小、學習能力弱的網絡。從而我們會得到一個速度快，能力強的網絡，

>>阅读原文<<