淺談模型壓縮

有一個做深度學習模型部署的同學曾經提到過他目前的方向主要是模型壓縮,就是對於部署在app上的模型在不影響性能的前提下如何減小模型的體量,我也會經常用Bert等transformer架構的模型,體量過大也是缺點,所以纔有了後面的ALBert模型,這裏對模型壓縮的內容提前瞭解下,以免後面的工作會用到。 目錄 1. 模型壓縮的意義 2. 模型壓縮相關技術 2.1 低秩分解 2.2 剪枝 2.3 知識蒸餾
相關文章
相關標籤/搜索