【技術綜述】深度學習在自然語言處理中的應用發展史

本篇介紹深度學習在自然語言處理(NLP)中的應用，從詞向量開始，到最新最強大的BERT等預訓練模型，梗概性的介紹了深度學習近20年在NLP中的一些重大的進展。 作者&編輯 | 小Dream哥  在深度學習之前，用於解決NLP問題的機器學習方法一般都基於淺層模型(如SVM和logistic 迴歸)，這些模型都在非常高維和稀疏的特徵(one-hot encoding)上進行訓練和學習，出現了維度爆炸等

>>阅读原文<<