Contextual Word Embeddings

Word Representation方法,Word2Vec, GloVe, fastText等對每個單詞僅有一種表示,而通常單詞的含義依賴其上下文會有所不同,而且每個單詞不僅有一方面特徵,而應有各方面特徵如語義特徵,語法特徵等, 集中討論contextual word representation,主要比較了ELMO,GPT與BERT模型。 EMLo 在EMLo中,他們使用的是一個雙向的LSTM
相關文章
相關標籤/搜索