GPT-2及與GPT的對比

對比 5. 其餘：GPT-2將詞彙表數量增長到50257個；最大的上下文大小 (context size) 從GPT的512提高到了1024 tokens；batchsize增長到512。 web GPT-2自己的一些細節 GPT2的創新點在於驗證了無監督的語言建模可以學習到有監督任務所需的特徵。算法 在模型輸入方面，GPT-2 採用的是 Byte Pair Encoding(如下簡稱 BPE)的

>>阅读原文<<