論文筆記《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

Abstract 介紹了一種新的語言表示模型BERT，它表明Transformers的雙向編碼器表示。與最近的語言表達模型不一樣，BERT是預先訓練深層雙向表示，經過聯合調節全部層中左右的上下文。所以，能夠經過一個額外的輸出層對預訓練的BERT表示進行微調，以建立適用於各類任務的最新模型，如回答問題和語言推理，而無需對特定於任務的體系結構進行實質性修改。html BERT概念簡單，經驗豐富。它在1

>>阅读原文<<