Rocket Launching: A Universal and Efficient Framework for Training Well-performing Light Net論文閱讀

目錄 摘要 引言 相關工作 方法   框架和損失函數   方法特色 實驗   不同的共享結構   CIFAR-10   rocket和AT的中間層注意圖的可視化 結論 摘要 提出了用好網絡幫助小網絡訓練的新的統一框架 這個框架中，好網絡全程都在幫助小網絡學習 分析了不同的loss的效果 用叫做gradient block的技巧同時提升了小網絡和好網絡的性能 引言 之前 分解和壓縮解決推理時間長的問

>>阅读原文<<