知識蒸餾《Distilling the Knowledge in a Neural Network》

本文是Hinton 大神在2014年NIPS上一篇論文《Distilling the Knowledge in a Neural Network》 1、Introduction 文章開篇用一個比喻來引入網絡蒸餾: 昆蟲作爲幼蟲時擅於從環境中汲取能量,但是成長爲成蟲後確是擅於其他方面,比如遷徙和繁殖等。 同理,神經網絡訓練階段從大量數據中獲取網絡模型,訓練階段可以利用大量的計算資源且不需要實時響應。
相關文章
相關標籤/搜索