NEZHA & TinyBERT預訓練LM，華爲諾亞方舟出品

github鏈接： https://github.com/huawei-noah/Pretrained-Language-Model 開源代碼 NEZHA NEZHA是當前基於華爲諾亞方舟實驗室開發的BERT的中文預訓練語言模型。 請注意，此代碼用於在普通GPU集羣上訓練NEZHA，與我們訓練華爲雲提供的NEZHA ModelArts所使用的代碼不同。 爲了方便重現我們的結果，此代碼是在NVIDI

>>阅读原文<<