NLP中語言模型預訓練方法

最近，在自然語言處理（NLP）領域中，使用語言模型預訓練方法在多項NLP任務上都獲得了不錯的提升，廣泛受到了各界的關注。就此，我將最近看的一些相關論文進行總結，選取了幾個代表性模型（包括ELMo [1]，OpenAI GPT [2]和BERT [3]）和大家一起學習分享。 1. 引言 在介紹論文之前，我將先簡單介紹一些相關背景知識。首先是語言模型（Language Model），語言模型簡單來說就

>>阅读原文<<