模型壓縮一-知識蒸餾

一、知識蒸餾簡介         知識蒸餾是模型壓縮方法中的一個大類，是一種基於「教師-學生網絡（teacher-student-network）思想」的訓練方法， 其主要思想是擬合教師模型（teacher-model）的泛化性等（如輸出概率、中間層特徵、激活邊界等），而不是一個簡簡單單的0-1類別標籤。        這一技術的理論來自於2015年Hinton發表的一篇論文: Distillin

>>阅读原文<<