NLP預訓練模型

訓練得到的詞向量表徵的詞語之間的信息其實有限。詞向量一個難以解決的問題就是多義詞的問題，例如「bank」在英文中有「河岸」和「銀行」兩種完全不同意思，但是在詞向量中確實相同的向量來表徵，這顯然不合理。 2017年，爲了解決這個問題，ELMO模型在「Deep contextualized word representation」被提出。 ELMO的本質思想是：用事先訓練好的語言模型學好一個單詞的Wo

>>阅读原文<<