teacher-student network

最近讀到一篇文章《An On-device Deep Neural Network for Face Detection》，講的是蘋果如何將基於深度學習的人臉識別方法應用到iPhone上，同時解決多任務並行及能耗的問題。文中提到了一個teacher-student network的概念。概括地講，就是用一個更寬更復雜的，但是已經訓練好的神經網絡（教師網絡），去訓練另一個窄而深的網絡（學生網絡）。

>>阅读原文<<