無監督領域遷移及文本表示學習的相關進展

©作者｜邴立東、何瑞丹、張琰、李俊濤、葉海 單位｜阿里巴巴達摩院、新加坡國立大學等 摘要 隨着基於 transformer 的預訓練語言模型的廣泛應用，多種自然語言處理任務在近一兩年來都取得了顯著突破。然而，高質量的模型仍然很大程度上依賴於充足的下游任務訓練數據，當面對新的領域、問題場景時，預訓練模型的效果仍然有待提高。 在現實應用場景中，很多領域及語言的高質量標註數據十分稀缺且昂貴，因此，如何讓

>>阅读原文<<