小版BERT也能出奇跡：最火的預訓練語言庫探索小巧之路

轉載：https://tech.ifeng.com/c/7pqoBttuWS0git   選自Medium服務器 做者：Victor Sanh網絡 機器之心編譯架構 參與：魔王框架 過去一段時間，大模型層出不窮。在你們紛紛感嘆「大力出奇跡」的時候，做爲調用預訓練語言模型最流行的庫，HuggingFace 嘗試用更少的參數量、更少的訓練資源實現同等的性能，因而知識蒸餾版 BERT——DistilBE

>>阅读原文<<