BERT（五）

5 Ablation Studies 在本節中，我們將對BERT的多個方面進行消融實驗，以更好地瞭解它們的相對重要性。其他消融研究可在附錄C中找到。 5.1 Effect of Pre-training Tasks 通過使用與BERT-BASE完全相同的預訓練數據，微調方案和超參數來評估兩個預訓練目標，我們證明了BERT的深度雙向的重要性： **No NSP：**使用「帶掩碼的LM」（MLM）訓練

>>阅读原文<<