知識蒸餾論文讀書筆記

突然覺得，我應該做一點筆記，梳理一下學過的東西，否則年一過，整個人就跟失憶了一樣。 知識蒸餾這個名字非常高大上（不得不說大佬不僅想法清新脫俗，名字也起的情形脫俗啊）。如果直白地說老師學生模型，那就不酷了。 下面是論文的總結梳理， 第一次嘗試-Model Compression 在2015年hinton 的知識蒸餾文章發表出來之前，就有人嘗試過讓一個小模型去學習一個大模型的表現，以期能夠達到與大模型

>>阅读原文<<