FitNets: Hints for thin deep nets論文筆記

論文地址：https://arxiv.org/abs/1412.6550 github地址：https://github.com/adri-romsor/FitNets 這篇文章提出一種設置初始參數的算法，目前很多網絡的訓練需要使用預訓練網絡參數。對於一個thin但deeper的網絡的訓練，作者提出知識蒸餾的方式將另一個大網絡的中間層輸出蒸餾到該網絡中作爲預訓練參數初始化網絡。 Motivatio

>>阅读原文<<