NLP論文解讀：GPT-2

NLP論文解讀：GPT-2 摘要 天然語言處理中，使用標註數據集的有監督fine-tuning方法成爲主流。本文使用自行構建的新數據集WebText構建了一個語言模型直接處理下游任務。處理閱讀理解任務時，GPT-2沒有使用該task的標準訓練集CoQA（127000+）進行fine-tuning，仍然好過4個baseline中的3個。語言模型的容量是零樣本學習任務的重要成功要素，本文的模型有15億

>>阅读原文<<