知識蒸餾-Distilling the knowledge in a neural network

知識蒸餾-Distilling the knowledge in a neural network 作者:支廣達 1. 概念介紹 「很多昆蟲在幼蟲形態的時候是最擅長從環境中吸取能量和養分的,而當他們成長爲成蟲的時候則需要擅長完全不同能力比如遷移和繁殖。」在2014年Hinton發表的知識蒸餾的論文中用了這樣一個很形象的比喻來說明知識蒸餾的目的。在大型的機器學習任務中,我們也用兩個不同的階段 tra
相關文章
相關標籤/搜索