模型的前端壓縮

一、知識蒸餾 利用遷移學習的方法，將一個複雜精度高的老師模型，與一個小但是目標與老師精度一樣高的學生模型進行結合。 1. 對整個網絡進行知識蒸餾 知識蒸餾的簡圖： 數據生成器就是我們框架產生的batch,我們將圖片輸入到教師模型和學生模型中，先計算出教師模型的loss然後通過教師模型的loss引導學生模型的loss，從而使學生模型的loss下降。下面是詳細的圖解： 將訓練集圖片分別放入到老師網絡（

>>阅读原文<<