UniLM：基於bert的Seq2Seq

論文地址：Unified Language Model Pre-training for Natural Language Understanding and Generation 概述： 　　UniLM是微軟研究院在Bert的基礎上，最新產出的預訓練語言模型，被稱爲統一預訓練語言模型。它可以完成單向、序列到序列和雙向預測任務，可以說是結合了AR和AE兩種語言模型的優點，Unilm在抽象摘要、生成

>>阅读原文<<