網絡蒸餾算法的一些彙總和想法。

最近在作關鍵點的算法，須要用到網絡蒸餾的思路，可是目前大部分都是分類任務的蒸餾，偶然找到一些其餘的思路，整理一下。git １．分類任務的蒸餾方法——軟標籤算法 傳統的分類任務，輸出就是one hot 的標籤。蒸餾網絡讓student去學習teacher的軟標籤，至關於一個更真實的機率分佈。這是由於分類任務有自然的機率解釋，因此軟標籤十分合理。網絡 ２．檢測任務的蒸餾方法，這裏只整理分類之外的部分框

>>阅读原文<<