【星球知識卡片】模型蒸餾的核心技術點有哪些，如何對其進行長期深入學習...

大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型蒸餾的核心技術點。 作者&編輯 | 言有三 1 什麼是模型蒸餾 一般地，大模型往往是單個複雜網絡或者是若干網絡的集合，擁有良好的性能和泛化能力，而小模型因爲網絡規模較小，表達能力有限。利用大模型學習到的知識去指導小模型訓練，使得小模型具有與大模型相當的性能，但是參數數量大幅降低，從而可以實現模型壓縮與加速，就是知識蒸餾與遷移學習在模型優化

>>阅读原文<<