GPT-1和GPT-2的發展

OpenAI在2018年提出來的一個方法——GPT 1.0，GPT 1.0採取預訓練+FineTuning兩個階段，它採取Transformer的decoder作爲特徵抽取器，總共堆疊12個。預訓練階段採用「單向語言模型」作爲訓練任務，把語言知識編碼到decoder裏。第二階段，在第一階段訓練好的模型基礎上，通過Finetuning來做具體的NLP任務，遷移能力強。注意在Decoder 中，使用了

>>阅读原文<<