Model Distillation with Knowledge Transfer in Face Classification, Alignment and Verification

ICLR-2018 概述 這篇文章的主要工作是使用知識蒸餾的方法壓縮模型，主要的trick在損失函數的設計，對於不同類別的任務，使用soft-target設計損失函數，並且使用分類任務來初始化教師和學生網絡的參數。 摘要 知識蒸餾是模型壓縮的潛在解決方案。這個想法是讓一個小型學生網絡模仿大型教師網絡的目標，然後學生網絡可以與教師網絡競爭。以前的大多數研究都集中在分類任務中的模型蒸餾，他們爲學生網絡

>>阅读原文<<