蒸餾算法閒聊

蒸餾算法的經典論文爲《Distilling the Knowledge in a Neural Network》 解決問題就是,在使用的時候,把複雜模型變簡單,把大模型變小。所以叫蒸餾。下圖是我看到最明白的整理模型圖分享一下地址 簡述過程 首先說明,此處一般指多分類網絡。硬標籤指0、1;軟標籤指概率; 1、用硬標籤訓練大網絡(硬標籤) 2、用訓練好的大網絡來得到樣本的軟標籤 3、用軟標籤和硬標籤共
相關文章
相關標籤/搜索