蒸餾神經網絡(Distill the Knowledge in a Neural Network) 論文筆記

本文是閱讀Hinton 大神在2014年NIPS上一篇論文:蒸餾神經網絡的筆記,特此說明。此文讀起來很抽象,大篇的論述,鮮有公式和圖表。但是鑑於和我的研究方向:神經網絡的壓縮十分相關,因此決定花氣力好好理解一下。  1、Introduction   文章開篇用一個比喻來引入網絡蒸餾:     昆蟲作爲幼蟲時擅於從環境中汲取能量,但是成長爲成蟲後確是擅於其他方面,比如遷徙和繁殖等。 同理神經網絡訓練
相關文章
相關標籤/搜索