GPT-1和GPT-2的發展

OpenAI在2018年提出來的一個方法——GPT 1.0，GPT 1.0採起預訓練+FineTuning兩個階段，它採起Transformer的decoder做爲特徵抽取器，總共堆疊12個。預訓練階段採用「單向語言模型」做爲訓練任務，把語言知識編碼到decoder裏。第二階段，在第一階段訓練好的模型基礎上，經過Finetuning來作具體的NLP任務，遷移能力強。注意在Decoder 中，使用了

>>阅读原文<<