cs224n筆記04-Contextual Word Embeddings

上下文相關的詞嵌入 靜態詞向量的沒個詞有一個唯一的向量表示,即使具有多個含義的詞也只能有一種表達方式。但是上下文相關的詞嵌入可以解決一詞多義的問題。比較常見的動態詞向量訓練方法有elmo、bert等 bert使用的是transformer的encoder,任務是mask語言模型和NSP(預測下一個句子) bert的fine-tuning訓練方式
相關文章
相關標籤/搜索