研讀何凱明大作Momentum contrast for unsupervised representation learning

Abstract 本文提出Momentum Contrast（MoCo）用於無監督視覺表徵學習。從contrastive learning的角度，通過一個隊列和移動平均的encoder構建動態詞典。在線構建一個大的且一致性詞典，靈活適配於contrastive unsupervised learning。 Introduction 無監督表徵在NLP領域獲得極大成功，例如GPT和BERT。但是，在

>>阅读原文<<