官方解讀，谷歌「T5」模型，如何突破遷移學習侷限，實現多基準測試SOTA

2020-02-25 14:35 導語：實現多基準測試SOTA。 過去幾年間，遷移學習給 NLP 領域帶來了豐碩的成果，掀起了新一波的發展浪潮。而遷移學習之所以如此有效，得益於其利用自監督任務（如語言建模或填充缺失詞）在大量可用的無標註的文本數據上對模型進行預訓練；接着，又在更小的標註數據集上對模型進行微調，從而讓模型實現比單單在標註數據上訓練更好得多的性能。 遷移學習在2018年出現的GPT、U

>>阅读原文<<