深度學習--知識蒸餾網絡壓縮訓練方法——轉

《Distilling the Knowledge in a Neural Network》 模型蒸餾 所謂模型蒸餾就是將訓練好的複雜模型推廣能力「知識」遷移到一個結構更爲簡單的網絡中。或者通過簡單的網絡去學習複雜模型中「知識」。其基本流程如下圖: 基本可以分爲兩個階段: 原始模型訓練: 根據提出的目標問題,設計一個或多個複雜網絡(N1,N2,…,Nt)。 收集足夠的訓練數據,按照常規CNN模型訓
相關文章
相關標籤/搜索