淺談 Knowledge-Injected BERTs

作者丨張成蹊 學校丨北京大學碩士生 / 字節跳動AI-Lab實習生 研究方向丨自然語言處理、命名實體識別 序 在當下的 NLP 領域，BERT 是一個繞不過的話題。  自從 2018 年底橫空出世以來，它以勢不可擋的態勢橫掃了整個 GLUE 榜單，將基準推進到 80% 的水平線，在 SQuAD1.1 中全部指標超越人類水平。在使用其預訓練的參數後，幾乎所有的下游任務都獲得了相當的增益（當然，大量參

>>阅读原文<<