GPT-2及與GPT的對比

對比 5. 其他：GPT-2將詞彙表數量增加到50257個；最大的上下文大小 (context size) 從GPT的512提升到了1024 tokens；batchsize增加到512。 GPT-2本身的一些細節 GPT2的創新點在於驗證了無監督的語言建模能夠學習到有監督任務所需的特徵。 在模型輸入方面，GPT-2 採用的是 Byte Pair Encoding(以下簡稱 BPE)的 Subwo

>>阅读原文<<