跨域預訓練語言模型(XLM)

XLM來自於Facebook ai的論文《Cross-lingual Language Model Pretraining》。目前多數語言模型都是單語義（monolingual）模型，比如BERT、XLNET、google的T5等等。期望有一種語言模型可以實現多種語言的融合，然後在一種語言訓練模型，通過XLM遷移到其他語言上。比如標註語料較多的英語，我們訓練好EN-》DE的翻譯模型，但是，像印地語

>>阅读原文<<