復旦大學邱錫鵬教授：NLP預訓練模型綜述

©PaperWeekly 原創 · 作者｜王馨月 學校｜四川大學本科生 研究方向｜自然語言處理 引言 隨深度學習的發展，多種神經網絡都被應用在 NLP 任務中，比如 CNN、RNN、GNN 和 attention 機制等，但由於現有的數據集對於大部分有監督 NLP 任務來說都很小，因此，早期的模型對 NLP 任務來說都很「淺」，往往只包含 1-3 層。 而預訓練模型（Pre-trained Mod

>>阅读原文<<