GPT原理介紹

1.引言 前面咱們介紹了ELMo算法的思想，經過在大量的語料上預訓練語言模型，而後再將預訓練好的模型遷移到具體的下游NLP任務，從而提升模型的能力。可是ELMo預訓練的語言模型結構和下游的NLP任務的模型常常會不一致，所以，作遷移學習時常常無法將二者的模型直接進行融合，所以，本文將介紹OpenAI在2018年提出來的一個方法——GPT，該模型在預訓練語言模型的基礎上，只須要作一些微改便可直接遷移到

>>阅读原文<<