Open AI新一代語言模型GPT-2不需特定領域數據

Open AI最近發佈新一代的大型語言模型GPT-2，該模型有15億個參數，利用了800萬頁的網頁數據做爲訓練數據，以預測全部輸入文字的下一個字做爲訓練目標，而也由於數據集的多樣性，讓模型不須要針對特定的任務進行訓練，以上述單純的目標，就能涵蓋了許多跨領域的任務，目前該模型可以在機器翻譯、回答問題、閱讀理解、總結段落等語言任務中生成與段落一致的文字內容，不過，爲了預防惡意的使用行爲，OpenAI並

>>阅读原文<<