簡單粗暴，容量大，效果好，1750億參數的GPT-3

聽說須要耗費千萬美圓的資金才能訓練一個gpt3算法 gpt-3使用的數據集容量達到了45TB，架構 gpt-3具備1750億個參數，性能 一個gpt-3 模型可能須要要 700G的硬盤空間來存儲。 學習 近期大量研究工做代表，經過對大量文本進行預訓練，而且針對特定任務進行微調，模型的性能能夠在許多 NLP 任務以及基準測試中得到顯著提高。測試 如上圖所示，x軸的參數，參數數量級越大，準確率越高……

>>阅读原文<<