GPT2--Language Models are Unsupervised Multitask Learners

Abstact GPT2的核心思想就是認爲能夠用無監督的預訓練模型去作有監督任務。 Introduction: 典型應用:最著名的語言模型就是手機上面的輸入法,根據當前輸入詞推薦下一個詞 目標上想構造一個通用的NLP模型,能夠執行不少任務,不須要爲每一個任務手動建立和標記數據集 多任務學習:把多個相關的任務放在一塊兒學習,同時學習多個任務。 基於共享表示,把多個相關的任務放在一塊兒學習的機器學習方
相關文章
相關標籤/搜索