ICLR 2020|ELECTRA
MLM（Masked language modeling）方式的預訓練語言模型如BERT是在輸入上用[MASK]遮蔽掉部分tokens，再訓練一個模型以重建出原始的tokens。這種方式遷移到下游NLP任務時能夠得到較好的結果，已然成爲NLP任務中的標配。但是這種預訓練方法往往需要大量的算力。爲此，本文提出一種樣本效率更爲高效的預訓練任務：替換token檢測（replaced token dete
相關文章
- 1. MaskGAN（2018-ICLR）
- 2. ICLR 2018 BEST PAPER
- 3. big code: Neural Code Completion [ICLR 2017]
- 4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
- 5. ICLR 2020| NAS evaluation is frustratingly hard
- 6. 圖上的預訓練 ICLR 2020
- 7. 讀書筆記8：Graph Attention Networks（ICLR 2018)
- 8. [論文筆記][ICLR-2019] Slimmable Neural Networks
- 9. ICLR 2020 | 淺談GNN：能力與侷限
- 10. ICLR認知科學@AI workshop一覽
- 更多相關文章...
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. MaskGAN（2018-ICLR）
- 2. ICLR 2018 BEST PAPER
- 3. big code: Neural Code Completion [ICLR 2017]
- 4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
- 5. ICLR 2020| NAS evaluation is frustratingly hard
- 6. 圖上的預訓練 ICLR 2020
- 7. 讀書筆記8：Graph Attention Networks（ICLR 2018)
- 8. [論文筆記][ICLR-2019] Slimmable Neural Networks
- 9. ICLR 2020 | 淺談GNN：能力與侷限
- 10. ICLR認知科學@AI workshop一覽