Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding

Abstract         我們介紹了一種語言表達模型稱爲BERT，也就是Transformer的雙邊編碼表示。與當前語言表達模型不同（Peters et al., 2018a; Radford et al., 2018），BERT設計通過考慮所有層左右上下文對爲標註過的文本進行深度雙邊表達的預訓練。因此，預訓練BERT模型可以通過只增加一個額外的輸出層進行finetuned，從而在很多任務

>>阅读原文<<