論文筆記 - 預訓練模型綜述

文獻題目：Pre-trained Models for Natural Language Processing: A Survey 文獻來源：復旦大學 原文鏈接：https://arxiv.org/pdf/2003.08271.pdf NLP常見術語 lookup table：查找表，在NLP中代表一個券連接的權重矩陣 W W W，輸入是稀疏向量的情況下，可以直接查表相加替代矩陣相乘。 token

>>阅读原文<<