Bert（三）

3 BERT 在本節中，我們將介紹BERT及其詳細實現。 我們的框架有兩個步驟：預訓練和微調。 在預訓練期間，通過不同的預訓練任務對未標記的數據進行模型訓練。 爲了進行微調，首先使用預訓練的參數初始化BERT模型，然後使用來自下游任務的標記數據對所有參數進行微調。每個下游任務都有單獨的微調模型，即使它們已使用相同的預訓練參數初始化。 圖1中的問答系統示例將作爲本節的運行示例。 圖1:BERT的總體

>>阅读原文<<