華爲開源預訓練語言模型「哪吒、TinyBERT」可直接下載使用

近日,華爲諾亞方舟實驗室的NLP團隊開源了兩個重要的預訓練語言模型-哪吒和TinyBERT, 可以直接下載,預先訓練和微調這兩個模型。 該項目是諾亞方舟實驗室用於開放各種預訓練模型的源代碼的項目。當前有兩個,並且不排除將來會添加更多模型。 Nezha是基於BERT優化和改進的預訓練語言模型。中文使用的語料庫是Wikipedia和Baike and News,而Google的中文語料庫僅使用Wiki
相關文章
相關標籤/搜索