15億參數的NLP模型究竟有多強大？有人用它生成了一部《哈利·波特》

源 / 新智元程序員 上週，OpenAI 發表了一個超大規模的 「通用」NLP 模型 ——GPT-2。這個模型是 OpenAI 去年發佈的無監督 NLP 模型 GPT 的直接拓展，基於Transformer，擁有 15 億參數，使用含有 800 萬網頁內容的數據集訓練。算法 GPT-2 能夠生成連貫的文本段落，刷新了 7 大數據集基準，而且能在未經預訓練的狀況下，完成閱讀理解、問答、機器翻譯等多項

>>阅读原文<<