用 SimCLR 提高自監督與半監督學習效果

文 / 研究員 Ting Chen 和 Google Research 副總裁兼工程研究員 Geoffrey Hinton 最近的 BERT 和 T5 等自然語言處理模型表明，如果預先使用大量未標記數據集進行預訓練，再使用少量的標記數據集進行微調，就可以獲得良好結果。同樣，根據 Exemplar-CNN、實例區分、對比預測編碼、AMDIM、對比多視圖編碼、動量對比等方法的相關文章所述，使用大量未標

>>阅读原文<<