預訓練語言模型綜述

《Pre-trained Models for Natural Language Processing: A Survey》總結 序章 隨着深度學習的發展，各種神經網絡被廣泛應用於解決自然語言處理（NLP）任務，如卷積神經網絡（CNNs），遞歸神經網絡（RNNs），基於圖的神經網絡（GNNs）和注意機制。相比於非神經網絡NLP方法通常嚴重依賴於離散的手工特徵，神經網絡方法通常使用低維密集向量（分佈

>>阅读原文<<