微軟統一預訓練語言模型UniLM 2.0解讀

微軟研究院在2月底發佈的UniLM 2.0（Unified Language Model \ 統一語言模型）文章，相比於19年上半年發佈的UniLM 1.0，更加有效地整合了自然語言理解（NLU）與自然語言生成（NLG）這兩種不同目標下的訓練任務。無論是兩種訓練目標結合的統一性，還是在測評數據集上表現的性能，UniLM 2.0都在前一代的基礎上有較大的改進。 本文將就近年來基於Transforme

>>阅读原文<<