【BERT】BERT模型壓縮技術概覽

由於BERT參數衆多，模型龐大，推理速度較慢，在一些實時性要求較高、計算資源受限的場景，其應用會受到限制。因此，討論如何在不過多的損失BERT性能的條件下，對BERT進行模型壓縮，是一個非常有現實意義的問題。 本文先介紹模型壓縮的概念及常見方法；隨後，對目前出現的BERT剪枝的技術做一個整體的介紹。在後面的文章中，挑選一些典型的例子再進行深度的介紹。 作者&編輯 | 小Dream哥 1 模型壓縮 

>>阅读原文<<