深度學習 論文解讀——知識蒸餾

1.簡介 在大規模的的機器學習任務中，我們經常需要使用集成學習來訓練一些相似的模型，而這會消耗大量的計算資源。並且在部署爲實際應用時，也會由於模型/網絡過於複雜而難以部署。針對此問題，Hinton提出了一種壓縮網絡的有效方法——知識蒸餾(Knowledge Distillation)[1]。並且討論了知識蒸餾的其他優勢。 2.蒸餾方法 當我們已經有一個訓練好的，較爲笨重的模型(cumbersome

>>阅读原文<<