NLP預訓練模型綜述

文章目錄 文章 介紹 背景 2.1語言表示學習 非上下文詞嵌 2.2 神經上下文編碼器 2.2.1 序列模型s 2.2.2 非序列模型 2.2.3 分析 2.3 爲什麼預訓練？ 2.4 NLP的PTMs的歷史 2.4.1 第一代PTM：預先訓練的詞嵌入將單詞表示爲密集的矢量已有很長的歷史[60]。 2.4.2 第二代PTM：預訓練的上下文編碼器 3. PTMs總覽 3.1 預訓練任務 3.1.1

>>阅读原文<<