美團BERT的探索和實踐

總第368篇html 2019年 第46篇前端 背景 2018年，天然語言處理（Natural Language Processing，NLP）領域最激動人心的進展莫過於預訓練語言模型，包括基於RNN的ELMo[1]和ULMFiT[2]，基於Transformer[3]的OpenAI GPT[4]及Google BERT[5]等。下圖1回顧了近年來預訓練語言模型的發展史以及最新的進展。預訓練語言模

>>阅读原文<<