知識蒸餾，teacher and studenet 網絡

最近在學習一些分類網絡，發現現在直接使用新的網絡結構提高整個分類準確度已經很難了，現在人們提出了各種新型的訓練思路。我發現這個知識蒸餾訓練的思路真的很好。我看完以後發現可以做的事很多。 知識蒸餾是利用從一個大型模型或模型集合中提取的知識來訓練一個緊湊的神經網絡。利用這些知識，我們可以在不嚴重影響緊湊模型性能的情況下，有效地訓練小型緊湊模型。我們稱大模型或模型集合爲繁瑣模型或教師網絡，而稱小而緊湊的

>>阅读原文<<