【NLP】GPT原理

一、GPT簡介 1、含義 GPT是「Generative Pre-Training」的簡稱，是指的生成式的預訓練。GPT採用兩階段過程，第一個階段是利用語言模型進行預訓練，第二階段通過Fine-tuning的模式解決下游任務。下圖展示了GPT的預訓練過程。 2、GPT與ELMO區別與聯繫 （1）相同點：GPT和ELMO是類似的都是兩階段模型。 （2）不同點：首先，特徵抽取器不是用的RNN，而是用的

>>阅读原文<<