ICLR 2020|ELECTRA

時間 2020-12-30

標籤專題 ELECTRA 简体版

原文原文鏈接

MLM（Masked language modeling）方式的預訓練語言模型如BERT是在輸入上用[MASK]遮蔽掉部分tokens，再訓練一個模型以重建出原始的tokens。這種方式遷移到下游NLP任務時能夠得到較好的結果，已然成爲NLP任務中的標配。但是這種預訓練方法往往需要大量的算力。爲此，本文提出一種樣本效率更爲高效的預訓練任務：替換token檢測（replaced token dete

>>阅读原文<<

1. MaskGAN（2018-ICLR）
2. ICLR 2018 BEST PAPER
3. big code: Neural Code Completion [ICLR 2017]
4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
5. ICLR 2020| NAS evaluation is frustratingly hard
6. 圖上的預訓練 ICLR 2020
7. 讀書筆記8：Graph Attention Networks（ICLR 2018)
8. [論文筆記][ICLR-2019] Slimmable Neural Networks
9. ICLR 2020 | 淺談GNN：能力與侷限
10. ICLR認知科學@AI workshop一覽
更多相關文章...

相關標籤/搜索

iclr

iclr'17

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。

最新文章

1. CVPR 2020 論文大盤點-光流篇
2. Photoshop教程_ps中怎麼載入圖案？PS圖案如何導入？
3. org.pentaho.di.core.exception.KettleDatabaseException:Error occurred while trying to connect to the
4. SonarQube Scanner execution execution Error --- Failed to upload report - 500: An error has occurred
5. idea 導入源碼包
6. python學習 day2——基礎學習
7. 3D將是頁遊市場新賽道？
8. osg--交互
9. OSG-交互
10. Idea、spring boot 圖片(pgn顯示、jpg不顯示)解決方案

本站公眾號

歡迎關注本站公眾號,獲取更多信息

1. MaskGAN（2018-ICLR）
2. ICLR 2018 BEST PAPER
3. big code: Neural Code Completion [ICLR 2017]
4. [ICLR'17] DEEPCODER: LEARNING TO WRITE PROGRAMS
5. ICLR 2020| NAS evaluation is frustratingly hard
6. 圖上的預訓練 ICLR 2020
7. 讀書筆記8：Graph Attention Networks（ICLR 2018)
8. [論文筆記][ICLR-2019] Slimmable Neural Networks
9. ICLR 2020 | 淺談GNN：能力與侷限
10. ICLR認知科學@AI workshop一覽

>>更多相關文章<<