NLP中的預訓練方法總結 word2vec、ELMO、GPT、BERT、XLNET

文章目錄 一.文本的表示方法 基於one-hot的詞向量 二.基於詞向量的固定表徵方法（詞向量模型） 2.1 N-gram模型 2.2 NNLM 2.3 word2vec CBoW Skip-gram 層次Softmax 負採樣 三.基於詞向量的動態表徵方法（預訓練語言模型） 3.1 什麼是預訓練語言模型 3.2 預訓練語言模型的優點 3.3 預訓練語言模型的分類 自迴歸語言模型 自編碼語言模型

>>阅读原文<<