詳解nlp預訓練詞向量(下)——從GPT到BERT

  從Word Embedding到GPT GPT是「Generative Pre-Training」的簡稱，從名字看其含義是指的生成式的預訓練。GPT也採用兩階段過程，第一個階段是利用語言模型進行預訓練，第二階段通過Fine-tuning的模式解決下游任務。 上圖展示了GPT的預訓練過程，其實和ELMO是類似的，主要不同在於兩點：首先，特徵抽取器不是用的RNN，而是用的Transformer，上

>>阅读原文<<