文獻閱讀筆記electra: pre-training text encoders as discriminators rather than generators

目錄 0. 背景 0.1 摘要 1. 介紹 2. 方法 3. 實驗 3.1 實驗設置 3.2 模型拓展 3.3 Small版模型 3.4 Large版模型 3.5 有效性分析 4. 總結 0. 背景 機構：斯坦福、Google Brain 作者：Kevin Clark、Minh-Thang Luong、Quoc V. Le 論文地址：https://arxiv.org/abs/2003.10555

>>阅读原文<<