ICLR 2020|ELECTRA
MLM（Masked language modeling）方式的預訓練語言模型如BERT是在輸入上用[MASK]遮蔽掉部分tokens，再訓練一個模型以重建出原始的tokens。這種方式遷移到下游NLP任務時能夠得到較好的結果，已然成爲NLP任務中的標配。但是這種預訓練方法往往需要大量的算力。爲此，本文提出一種樣本效率更爲高效的預訓練任務：替換token檢測（replaced token dete
相關文章
- 1. MaskGAN（2018-ICLR）
- 2. ICLR 2018 BEST PAPER
- 3. big code: Neural Code Completion [ICLR 2017]
- 4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
- 5. ICLR 2020| NAS evaluation is frustratingly hard
- 6. 圖上的預訓練 ICLR 2020
- 7. 讀書筆記8：Graph Attention Networks（ICLR 2018)
- 8. [論文筆記][ICLR-2019] Slimmable Neural Networks
- 9. ICLR 2020 | 淺談GNN：能力與侷限
- 10. ICLR認知科學@AI workshop一覽
- 更多相關文章...
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 「插件」Runner更新Pro版，幫助設計師遠離996
- 2. 錯誤 707 Could not load file or assembly ‘Newtonsoft.Json, Version=12.0.0.0, Culture=neutral, PublicKe
- 3. Jenkins 2018 報告速覽，Kubernetes使用率躍升235%！
- 4. TVI-Android技術篇之註解Annotation
- 5. android studio啓動項目
- 6. Android的ADIL
- 7. Android卡頓的檢測及優化方法彙總（線下+線上）
- 8. 登錄註冊的業務邏輯流程梳理
- 9. NDK(1)創建自己的C/C++文件
- 10. 小菜的系統框架界面設計-你的評估是我的決策
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. MaskGAN（2018-ICLR）
- 2. ICLR 2018 BEST PAPER
- 3. big code: Neural Code Completion [ICLR 2017]
- 4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
- 5. ICLR 2020| NAS evaluation is frustratingly hard
- 6. 圖上的預訓練 ICLR 2020
- 7. 讀書筆記8：Graph Attention Networks（ICLR 2018)
- 8. [論文筆記][ICLR-2019] Slimmable Neural Networks
- 9. ICLR 2020 | 淺談GNN：能力與侷限
- 10. ICLR認知科學@AI workshop一覽