NLP預訓練模型綜述：從word2vec, ELMo到BERT

目錄   前言 word2vec 模型 負採樣 char-level與上下文 ELMo BERT 深層雙向的encoding 學習句子與句對關係表示 簡潔到過分的下游任務接口 前言 還記得不久之前的機器閱讀理解領域，微軟和阿里在SQuAD上分別以R-Net+和SLQA超過人類，百度在MS MARCO上憑藉V-Net霸榜並在BLEU上超過人類。這些網絡可以說一個比一個複雜，似乎「如何設計出一個更wo

>>阅读原文<<