知識蒸餾(Knowledge Distillation)、半監督學習(semi-supervised learning)以及弱監督學習(weak-supervised learning)

一.知識蒸餾 1.知識蒸餾 (1)首先,我先強調一下蒸餾學習其實本質是模型壓縮!模型壓縮!模型壓縮!S模型有的精度高於T模型,有的低於T模型,但是可以很好地壓縮網絡體積。 (2)知識蒸餾是由Hiton的Distilling the Knowledge in a Neural Network 論文地址提出,並通過引入與教師網絡(Teacher Network:網絡結構複雜,準確率高 一般是我們的 B
相關文章
相關標籤/搜索