轉：知識蒸餾

轉：https://www.cnblogs.com/jins-note/p/9679450.html 本文爲轉載，主要是給自己看的，最好可以到原文查看。 蒸餾神經網絡取名爲蒸餾（Distill），其實是一個非常形象的過程。 我們把數據結構信息和數據本身當作一個混合物，分佈信息通過概率分佈被分離出來。首先，T值很大，相當於用很高的溫度將關鍵的分佈信息從原有的數據中分離，之後在同樣的溫度下用新模型融合

>>阅读原文<<