ICLR 2020|NLP預訓練模型的全新範式：對比學習

生成式模型有着其天生的優勢，即學習到豐富的特徵，但它也有廣受詬病的確定。判別式目標函數——長期以來被認爲是無用的。這是因爲，判別式模型通常不是直接擬合原有的分佈流形，學習到的特徵較爲單一。但是，最近一些工作的基於對比學習的自監督學習框架，表現十分出色。 生成式模型有着其天生的優勢，即學習到豐富的特徵，但它也有廣受詬病的確定。判別式目標函數——長期以來被認爲是無用的。這是因爲，判別式模型通常不是直接

>>阅读原文<<