蒸餾算法閒聊

蒸餾算法的經典論文爲《Distilling the Knowledge in a Neural Network》 解決問題就是，在使用的時候，把複雜模型變簡單，把大模型變小。所以叫蒸餾。下圖是我看到最明白的整理模型圖分享一下地址 簡述過程 首先說明，此處一般指多分類網絡。硬標籤指0、1；軟標籤指概率； 1、用硬標籤訓練大網絡（硬標籤） 2、用訓練好的大網絡來得到樣本的軟標籤 3、用軟標籤和硬標籤共

>>阅读原文<<