【技術綜述】深度學習在自然語言處理中的應用發展史

本篇介紹深度學習在自然語言處理(NLP)中的應用,從詞向量開始,到最新最強大的BERT等預訓練模型,梗概性的介紹了深度學習近20年在NLP中的一些重大的進展。 作者&編輯 | 小Dream哥  在深度學習之前,用於解決NLP問題的機器學習方法一般都基於淺層模型(如SVM和logistic 迴歸),這些模型都在非常高維和稀疏的特徵(one-hot encoding)上進行訓練和學習,出現了維度爆炸等
相關文章
相關標籤/搜索