論文導讀 | 基於注意力機制對齊增強預訓練語言模型

這篇文章通過提出了一種注意力機制對齊的方法，爲預訓練語言模型在 fine-tuning階段引入了多源分詞信息外部知識，從而提升了預訓練語言模型在各個子任務上的效果。本文收錄於 2020 年 ACL。 問題背景 BERT 出現後，預訓練語言模型統治了大多數的NLP應用任務，預訓練-微調這一2-stage 模式成爲了主流。隨着預訓練語言模型的不斷髮展，預訓練任務和模型結構被不斷改進，以讓模型適配更大量

>>阅读原文<<