知識蒸餾

知識蒸餾即小模型從一個大模型學習知識，使得小模型獲取接近大模型的結果。網絡 相似遷移學習，和預訓練相比，蒸餾從網絡學習，預訓練則從數據學習。學習   蒸餾能夠將teacher模型的輸出做爲student模型的的soft label。get 也能夠從中間的特徵學習入門 即蒸餾的過程能夠看作學習大模型不一樣的區域。數據   大模型和小模型的特徵對應是一個難點。co   入門：ps https://zh

>>阅读原文<<