ELECTRA：超越BERT，2019年最佳NLP預訓練模型

時間 2020-05-09

標籤 electra 超越 bert 2019年最佳 nlp 訓練模型简体版

原文原文鏈接

做者 | 李如來源 | NLPCAB（ID:rgznai100）【導讀】BERT推出這一年來，除了XLNet，其餘的改進都沒帶來太多驚喜，無非是越堆越大的模型和數據，以及動輒1024塊TPU，讓工程師們不知道如何落地。今天要介紹的ELECTRA是我在ICLR盲審中淘到的寶貝（9月25日已截稿），也是BERT推出以來我見過最讚的改進，經過相似GAN的結構和新的預訓練任務，在更少的參數量和數據下，

>>阅读原文<<

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。