廣告行業中那些趣事系列18：RoBERTa-wwm-ext模型爲啥能帶來線上效果提升？

本篇一共5840個字 摘要：本篇主要分享能帶來線上文本分類效果有效提升的RoBERTa-wwm-ext模型。首先介紹背景，RoBERTa-wwm-ext模型不管在公共數據集上還是在我們線上真實分佈數據集上都能帶來不錯的效果提升，需要重點分析下效果提升的原因。RoBERTa-wwm-ext模型相比於BERT主要有兩大方面的優化，第一是RoBERTa預訓練模型，第二是基於全詞掩碼的中文訓練方式；然後重

>>阅读原文<<