美團BERT的探索和實踐

背景 2018年，自然語言處理（Natural Language Processing，NLP）領域最激動人心的進展莫過於預訓練語言模型，包括基於RNN的ELMo[1]和ULMFiT[2]，基於Transformer[3]的OpenAI GPT[4]及Google BERT[5]等。下圖1回顧了近年來預訓練語言模型的發展史以及最新的進展。預訓練語言模型的成功，證明了我們可以從海量的無標註文本中學到

>>阅读原文<<