GPT原理介紹

1.引言 前面咱們介紹了ELMo算法的思想,經過在大量的語料上預訓練語言模型,而後再將預訓練好的模型遷移到具體的下游NLP任務,從而提升模型的能力。可是ELMo預訓練的語言模型結構和下游的NLP任務的模型常常會不一致,所以,作遷移學習時常常無法將二者的模型直接進行融合,所以,本文將介紹OpenAI在2018年提出來的一個方法——GPT,該模型在預訓練語言模型的基礎上,只須要作一些微改便可直接遷移到
相關文章
相關標籤/搜索