模型蒸餾概述和實驗

目錄git   1 雜談github 2 蒸餾方法概述。算法 2.1 基於最後輸出層的蒸餾網絡 2.2 基於中間結果層的蒸餾學習 2.3 基於元學習的蒸餾.net 3 實驗結果和參考代碼blog 1 雜談 鑑於目前算法和數據的瓶頸，我最近研究了一下模型蒸餾，目的是經過大模型可以帶動我須要的小模型。目前的模型蒸餾這方面的研究已經很多了，專業術語上也有了KD（Knowl-edge Distillati

>>阅读原文<<