【論文筆記electra】ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS

代碼： https://huggingface.co/transformers/model_doc/electra.html   ABSTRACT 論文提出了一種高效的基於抽樣的預訓練任務——替換標記檢測。對於一些可以被替換的tokens，用一個小生成網絡（generator network ）抽樣出token進行替換。接着，作者沒有用模型從原始語料庫中預測這些被替換的詞，而是訓練了一個判別模型（

>>阅读原文<<