華爲開源預訓練語言模型「哪吒、TinyBERT」可直接下載使用

近日，華爲諾亞方舟實驗室的NLP團隊開源了兩個重要的預訓練語言模型-哪吒和TinyBERT， 可以直接下載，預先訓練和微調這兩個模型。 該項目是諾亞方舟實驗室用於開放各種預訓練模型的源代碼的項目。當前有兩個，並且不排除將來會添加更多模型。 Nezha是基於BERT優化和改進的預訓練語言模型。中文使用的語料庫是Wikipedia和Baike and News，而Google的中文語料庫僅使用Wiki

>>阅读原文<<