Datawhale 零基礎⼊⻔NLP-Task13 Contextual Word Representations and Pretraining

1.Representations for a word 使用LSTM之類的循環神經網絡訓練word vector,會有一定的侷限性。類似雖然把詞典背熟了,但是不夠靈活,不會緊密的聯繫上下文進行理解。 2.TagLM - 「Pre-ELMo」 結合詞嵌入模型和循環神經網絡模型,一方面保留來「詞典」的淵博知識,另一方面可以根據上下文進行理解。 3.ELMo: Embeddings from Lang
相關文章
相關標籤/搜索