ELMO,GPT &BERT

ELMO word2vec無法解決一詞多義的問題，比如‘apple’這個詞在不同的上下文中語義是不同的: Jobs was the CEO of apple. He ate the apple. 而ELMO能夠對多義詞進行建模，使用語言模型獲得一個上下文相關的預訓練表示。 方法： 使用的是一個雙向的LSTM語言模型，由一個前向和一個後向語言模型構成，目標函數就是取這兩個方向語言模型的最大似然。 預

>>阅读原文<<