復旦大學邱錫鵬教授：NLP預訓練模型綜述

復旦大學邱錫鵬教授：NLP預訓練模型綜述 文章目錄 01 引言 02 背景 2.1 語言表示學習 2.2 神經上下文編碼器 2.3 爲什麼要預訓練？ 2.4 NLP的預訓練任務的簡單歷史 2.4.1 第一代預訓練：預訓練詞嵌入 2.4.2 第二代預訓練：預訓練上下文編碼器 03 PTMs概述 3.1 預訓練任務 3.1.1 語言模型 (LM) 3.1.2 掩碼語言建模 Masked Languag

>>阅读原文<<