BERT, ELMo, & GPT-2: 這些上下文相關的表示到底有多上下文化？

點擊上方「AI公園」，關注公衆號，選擇加「星標「或「置頂」 作者：Kawin Ethayarajh 編譯：ronghuaiyang 導讀 具有上下文信息的詞表示到底有多大程度的上下文化？這裏給出了定量的分析。 將上下文信息放到詞嵌入中 — 就像BERT，ELMo和GPT-2 — 已經證明了是NLP的一個分水嶺的想法了。使用具有上下文信息的詞表示來替換靜態詞向量（例如word2vec），在每個NLP

>>阅读原文<<