ELMo解讀

背景 之前我們提到的NNLM和Word2Vec開闢了詞向量的先河。仔細回顧，我們可以知道，爲了解決統計語言模型存在的稀疏性，平滑等問題，NNLM運用神經網絡對語言模型進行建模，採用輸入若干個詞預測下一個詞，結果發現第一層的embedding vector可以很好的反應詞的語義在空間上的表達，因此NNLM是語言模型，詞向量是副產物。對於word2vec同樣如此，相比NNLM, word2vec做了多

>>阅读原文<<