BERT學習指南

詞向量模型比較： 橫向比較Word2vec,ELMO,BERT三個模型： 詞向量是一個工具，可以把真實的世界抽象成文字，進而運用數學公式進行操作的向量，而對向量的操作纔是NLP真正要做的任務。因此，NLP任務可以分爲兩部分：預訓練產生的向量和對向量進行的操作（下游具體的任務）。 Word2vec、ELMO、BERT，這些模型逐漸把下游的具體任務遷移到預訓練向量上。 Word2vec–>：ELMO

>>阅读原文<<