Distilling the Knowledge in a Neural Network[論文閱讀筆記]

本文是Hinton大神在網絡壓縮與遷移學習方向挖的一個坑 原文鏈接Distilling the Knowledge in a Neural Network  這種方法感覺受到了ensemble的啓發，利用大型（teacher net）網絡提取先驗知識，將這種先驗知識作爲soft target讓微型網絡（student network）學習,有點像Boost中第一個分類器學到後調整weight讓第二

>>阅读原文<<