知識蒸餾學習筆記1--Distilling the Knowledge in a Neural Network

Distilling the Knowledge in a Neural Network Distilling the Knowledge in a Neural Network"首次提出了知識蒸餾(暗知識提取)的概念,通過引入與教師網絡(teacher network:複雜、但推理性能優越)相關的軟目標(soft-target)作爲total loss的一部分,以誘導學生網絡(student n
相關文章
相關標籤/搜索