BERT-of-Theseus：基於模塊替換的模型壓縮方法

©PaperWeekly 原創 · 作者｜蘇劍林 學校｜追一科技 研究方向｜NLP、神經網絡 最近了解到一種稱爲「BERT-of-Theseus」的 BERT 模型壓縮方法，來自論文 BERT-of-Theseus: Compressing BERT by Progressive Module Replacing。這是一種以「可替換性」爲出發點所構建的模型壓縮方案，相比常規的剪枝、蒸餾等手段，它整

>>阅读原文<<