Contextual Word Representations and Pretraining

一、Word Representations 在2018年之前，我們使用的詞向量表徵技術主要有三個：Word2Vec、Glove、FastText。但是這三個方法都普遍存在在一些問題，就是無法解決一次多義的問題，即對於同一個詞無論上下文的單詞是否相同，訓練出來的詞向量都是一樣的。 通常我們訓練詞向量的時候，首先會初始化所有的詞向量，並且在訓練過程中不斷地改變這些向量的值，需要注意的是訓練的目標是我

>>阅读原文<<