比 Bert 體積更小速度更快的 TinyBERT

本文作者：chenchenliu&winsechang，騰訊 PCG 內容挖掘工程師 TinyBERT 是華爲不久前提出的一種蒸餾 BERT 的方法，本文梳理了 TinyBERT 的模型結構，探索了其在不同業務上的表現，證明了 TinyBERT 對複雜的語義匹配任務來說是一種行之有效的壓縮手段。 一、簡介 在 NLP 領域，BERT 的強大毫無疑問，但由於模型過於龐大，單個樣本計算一次的開銷動輒上

>>阅读原文<<