模型壓縮和知識蒸餾技術

模型壓縮和知識蒸餾技術 1 引言 2 模型壓縮 3 知識蒸餾 參考文獻 1 引言 模型移動端應用部署不得不面對模型壓縮問題，我們希望能夠用一個較小的模型代替大模型，其能夠接近大模型的結果。有幾種理解方式： 底層處理快一點，比如矩陣計算等，想辦法讓其快一點，可以改變一11的卷積爲33的卷積、矩陣稀疏乘法、減枝、殘差網絡結構、SVD分解等一些方法的引入 teacher-student策略，teache

>>阅读原文<<