FITNETS論文初讀

目錄 摘要 引言 方法   KD的回顧   提出基於Hint的訓練方式（應該就是CL）   Fitnet的分階段訓練   與CL訓練的關係 實驗結果（挑選的有意思的） 實驗分析 結論 摘要 不僅僅用到了輸出，還用到了中間層作爲監督信息 讓學生網絡變得更深的同時，讓它變的更快 引言 之前蒸餾的做法： 之前一篇論文是用集成的模型作爲老師模型，來得到一個更寬但更淺的網絡； 另一篇論文是將老師模型的輸出的

>>阅读原文<<