OpenAI-GPT（Generative Pre-Training）詳解

在GPT出現以後，通用的預訓練方式是預訓練整個網絡而後經過fine-tune去改進具體的任務。（須要注意的是，ELMo先出現的，而後是GPT）html GPT出現以後，引起了Bert，XLNet等一系列的地震式改進。對NLP任務的影響十分深遠。web GPT的核心思想是先經過無標籤的文本去訓練生成語言模型，再根據具體的NLP任務（如文本蘊涵、QA、文本分類等），來經過有標籤的數據對模型進行fine

>>阅读原文<<