Open AI新一代語言模型GPT-2不需特定領域數據

Open AI最近發佈新一代的大型語言模型GPT-2,該模型有15億個參數,利用了800萬頁的網頁數據作爲訓練數據,以預測所有輸入文字的下一個字作爲訓練目標,而也因爲數據集的多樣性,讓模型不需要針對特定的任務進行訓練,以上述單純的目標,就能涵蓋了許多跨領域的任務,目前該模型能夠在機器翻譯、回答問題、閱讀理解、總結段落等語言任務中生成與段落一致的文字內容,不過,爲了預防惡意的使用行爲,OpenAI並
相關文章
相關標籤/搜索