【譯】深度雙向Transformer預訓練【BERT第一作者分享】

【譯】深度雙向Transformer預訓練【BERT第一作者分享】 目錄 NLP中的預訓練 語境表示 語境表示相關研究 存在的問題 BERT的解決方案 任務一：Masked LM 任務二：預測下一句 BERT 輸入表示 模型結構——Transformer編碼器 Transformer vs. LSTM 模型細節 在不同任務上進行微調 GLUE SQuAD 1.1 SQuAD 2.0 SWAG 分析

>>阅读原文<<