知識蒸餾 | (1) 知識蒸餾概述

原文地址 這是一篇關於【知識蒸餾】簡述的文章，目的是想對知識蒸餾學習的內容和問題進行總結。筆者挑選了部分經典的paper詳讀，希望對於對KD有需求的同學提供一個概覽和幫助。 引子 昆蟲記裏寫道：」蝴蝶以毛毛蟲的形式吃樹葉積攢能量逐漸成長，最後變換成蝴蝶這一終極形態來完成繁殖」。雖然蝴蝶和毛毛蟲兩者本質是同一種生物，但是面對不同環境和任務的時候，形態不同——毛毛蟲形態下可以更方便地吃樹葉，保護自己，

>>阅读原文<<