小版BERT也能出奇跡：最火的預訓練語言庫探索小巧之路

轉載：https://tech.ifeng.com/c/7pqoBttuWS0   選自Medium 作者：Victor Sanh 機器之心編譯 參與：魔王 過去一段時間，大模型層出不窮。在大家紛紛感嘆「大力出奇跡」的時候，作爲調用預訓練語言模型最流行的庫，HuggingFace 嘗試用更少的參數量、更少的訓練資源實現同等的性能，於是知識蒸餾版 BERT——DistilBERT 應運而生！ 近日，

>>阅读原文<<