Knowledge Distillation: A Survey文獻閱讀
知識蒸餾用於壓縮模型 知識分爲：基於響應、基於特徵和基於關係。如下圖： 基於響應的產生softlabel。 基於特徵的可以學習特徵圖、**圖等。 關係圖爲上述兩種的混合。如兩種特徵圖的關係（FSP）、多個老師模型構建關係圖、數據的結構知識等。 蒸餾方案： 離線蒸餾、在線蒸餾、自我蒸餾。如下圖 離線蒸餾：先預訓練教師模型、蒸餾時教師模型只複製產生知識。 在現蒸餾：教師模型和學生模型同時訓練。 自我蒸
相關文章
- 1. knowledge distillation論文閱讀之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation
- 2. knowledge distillation 論文閱讀之：Triplet Loss for Knowledge Distillation
- 3. Knowledge Distillation論文閱讀（2）：Learning Efficient Object Detection Models with Knowledge Distillation
- 4. knowledge distillation 論文閱讀之：ResKD: Residual-Guided Knowledge Distillation
- 5. 【論文閱讀】Structured Knowledge Distillation for Semantic Segmentation
- 6. 論文閱讀 A Gift from Knowledge Distillation: Fast Optimization
- 7. Knowledge Distillation
- 8. 論文閱讀：A Survey on Transfer Learning
- 9. 文獻閱讀：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Under
- 10. 文獻閱讀（13）AAAI2017-A Survey on Network Embedding
- 更多相關文章...
- • RSS 閱讀器 - RSS 教程
- • PHP 實例 - AJAX RSS 閱讀器 - PHP教程
- • JDK13 GA發佈：5大特性解讀
- • Scala 中文亂碼解決
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. knowledge distillation論文閱讀之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation
- 2. knowledge distillation 論文閱讀之：Triplet Loss for Knowledge Distillation
- 3. Knowledge Distillation論文閱讀（2）：Learning Efficient Object Detection Models with Knowledge Distillation
- 4. knowledge distillation 論文閱讀之：ResKD: Residual-Guided Knowledge Distillation
- 5. 【論文閱讀】Structured Knowledge Distillation for Semantic Segmentation
- 6. 論文閱讀 A Gift from Knowledge Distillation: Fast Optimization
- 7. Knowledge Distillation
- 8. 論文閱讀：A Survey on Transfer Learning
- 9. 文獻閱讀：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Under
- 10. 文獻閱讀（13）AAAI2017-A Survey on Network Embedding