論文閱讀《Knowledge Projection for Effective Design of Thinner and Faster Deep Neural Networks》

本文提出一種新的設定,開始和以前一樣,使用一個預訓練的大網絡來指導一個更窄更快的小網絡訓練,但是用來訓練的數據是新的並且標籤信息有限,所以這個場景包括了不同數據域的自適應和模型壓縮 加入了一個知識投影矩陣,是學習得到的,選擇大模型的某處中間層,經過投影,加入到小模型的某處,這個過程也是學習的 整個模型的系統如下 KNOWLEDGE PROJECTION NETWORK 知識投影網絡 1、overv
相關文章
相關標籤/搜索