elmo算法解析

2018年3月份提出ELMo(Embedding from Language models),模型通過對不同句子創建不同的詞向量,進行動態調整,解決了之前工作2013年的word2vec及2014年的GloVe的多義詞問題,可以稱之爲靜態詞向量。模型經過大量語料庫預訓練好之後 (context—before預測當前字,context—after預測當前字,而且不是同時的),使用預訓練時,將任務實際
相關文章
相關標籤/搜索