BERT詳解，論文筆記

bert模型以及其演化的模型在NLP的各個比賽中都有異常重要的表現，所以先寫一篇bert的論文筆記來記錄一下這個模型。本文發表於2018年，作者提出了一種基於雙向Transformer的預訓練深度語言模型BERT。基於預訓練的BERT模型，可以更好地完成分類，標註等下游任務。文章在11個自然語言處理的任務上用BERT模型刷新了記錄。 文章背景：預訓練模型ElMo[1](2018)，GPT[2](2

>>阅读原文<<