BERT家族:TinyBERT

TinyBERT 論文:《TINYBERT:DISTILLINGBERTFORNATURALLAN-GUAGEUNDERSTANDING》 論文地址:https://arxiv.org/pdf/1909.10351 作者/機構:華科+華爲諾亞方舟實驗室 年份:2019.9 TinyBert通過對Bert 編碼器中的Transformer進行壓縮,使用兩段式學習框架在精度允許範圍內節約了計算資源和推
相關文章
相關標籤/搜索