A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning論文初讀

目錄 摘要 引言 相關工作   知識遷移   快速優化   遷移學習 方法   提出觀點   數學表達式   FSP Matrix的損失   學習步驟 實驗   快速優化   性能的提升   遷移學習 結論 摘要 提出了將蒸餾的知識看作成一種解決問題的流，它是在不同層之間的feature通過內積計算得到的 這個方法有三個好處：   student網絡可以學的更快   student網絡可以超過te

>>阅读原文<<