Tutorial: Knowledge Distillation

概述 Knowledge Distillation(KD)一般指利用一個大的teacher網絡作爲監督,幫助一個小的student網絡進行學習,主要用於模型壓縮。 其方法主要分爲兩大類 Output Distillation Feature Distillation Output Distillation Motivation 主要拉近teacher和student最終輸出的距離,參考論文:Dis
相關文章
相關標籤/搜索