BERT家族：RoBERTa

RoBERTa 論文：《RoBERTa：A Robustly Optimized BERT Pretraining Approach》微信 做者/機構：Facebook + 華盛頓大學性能 論文地址：https://arxiv.org/pdf/1907.11692學習 年份：2019.7優化 RoBERTa在訓練方法上對Bert進行改進，主要體如今改變mask的方式、丟棄NSP任務、訓練超參數優化

>>阅读原文<<