one-hot到word2vec到bert的進化史(待完善)

本文仍是一篇不講具體原理細節的博客，只寫一些3者之間的區別優劣問題，建議先搞懂原理再看，有疑問或者有新的看法，歡迎留言提出。git word2vec和embedding梳理github 1. 從one-hot開始 優勢：一是解決了分類器很差處理離散數據的問題，二是在必定程度上也起到了擴充特徵的做用。web 缺點：在文本特徵表示上有些缺點就很是突出了。首先，它是一個詞袋模型，不考慮詞與詞之間的順序（

>>阅读原文<<