預訓練語言模型 | (3) Bert

目錄 1. 背景 2. Bert流程和技術細節 3. 總結 1. 背景 在bert之前，將預訓練的embedding應用到下游任務的方式大致可以分爲2種，一種是feature-based，例如ELMo這種將經過預訓練的embedding作爲特徵引入到下游任務的網絡中；一種是fine-tuning，例如GPT這種將下游任務接到預訓練模型上，然後一起訓練。然而這2種方式都會面臨同一個問題，就是無法直接

>>阅读原文<<