論文分享 -- > NLP -- > Language Models are Unsupervised Multitask Learners

本次要總結和分享的論文是GPT2,參考的實現代碼model。本論文方法是在openAI-GPT的基礎上進行了一些微小的修改獲得的,從模型的角度來說,只是大幅增大了模型規模,去掉了fine-tune過程,不管是在預訓練和預測階段都是徹底的無監督,這點就很難以想象,可是的確作到了,並且效果還不錯。網上對這篇論文的講解很是多,這裏本人就講下本身淺薄的看法。html 動機和創新點 傳統機器學習任務只是拿某
相關文章
相關標籤/搜索