NLP基礎之——Subword Model

一、word-level Model(基於詞級模型) 使用基於單詞的模型時需要處理規模龐大的詞彙表,例如Word2Vec和 glove,是利用word embedding的方法來得到每一個word的vec,這種方法需要去處理規模龐大的詞彙表。 這種方式雖然效果不錯,但是對於單詞而言,只要稍微做些改變就是另一個單詞了。 存在的一些問題: 1.容易出現單詞不存在於詞彙庫中的情況,也就是 OOV(out
相關文章
相關標籤/搜索