ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language...論文翻譯

1 摘要   目前自然語言生成的預訓工作對於下游任務的偏差問題關注不夠。 爲了解決這個問題，我們提出了一個增強的多流序列來排列預訓練和微調框架 ERNIE-GEN，它通過生成機制和噪聲感知生成方法來彌補訓練和推理之間的差異。 爲了使代更接近人類的書寫模式，該框架引入了一個跨越代流，訓練模型連續預測語義完整跨度，而不是逐字預測。ERNIE-GEN與現有的預訓練方法不同，它將多粒度目標採樣結合到預訓練

>>阅读原文<<