超越 BERT 和 GPT，微軟亞洲研究院開源新模型 MASS！

自 2018 年以來，預訓練無疑是自然語言處理（NLP）領域中最熱門的研究課題之一。通過利用 BERT、GPT 和 XLNet 等通用語言模型，該領域的研究者們在自然語言理解方面已經取得了許多重大的突破。然而，對於序列到序列的自然語言生成任務，這些主流的預訓練方法並沒有帶來顯著的改進，對此，微軟亞洲研究院提出了一個全新的通用預訓練方法——MASS，在該任務中可以得到比 BERT 和 GPT 更好的

>>阅读原文<<