《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》（ICLR-2020）論文閱讀

前言 論文地址：https://openreview.net/forum?id=r1xMH1BtvB 代碼地址：https://github.com/google-research/electra Abstract 就跟題目裏說的一樣，它將目標放在了 Discriminator 上了，換句話說，它跟 GAN 的結構相似，但是判別器是語言模型，然後最終用的也是判別器。 1、Introduction

>>阅读原文<<