簡單粗暴，容量大，效果好，1750億參數的GPT-3

據說需要耗費千萬美元的資金才能訓練一個gpt3 gpt-3使用的數據集容量達到了45TB， gpt-3具有1750億個參數， 一個gpt-3 模型可能需要要 700G的硬盤空間來存儲。 近期大量研究工作表明，通過對大量文本進行預訓練，並且針對特定任務進行微調，模型的性能可以在許多 NLP 任務以及基準測試中獲得顯著提升。 如上圖所示，x軸的參數，參數數量級越大，準確率越高…… 該研究使用了和 GP

>>阅读原文<<