文本表示(一）—— word2vec(skip-gram CBOW) glove, transformer, BERT

文本離散表示 1. one-hot 簡單說，就是用一個詞典維度的向量來表示詞語，當前詞語位置爲1，其餘位置爲0. 例如 vocabulary = ['胡蘿蔔’ ， ‘兔子’， ‘獼猴桃’]， 採用三維數組表示， 胡蘿蔔 = [1, 0, 0], 兔子= [0, 1, 0], 獼猴桃= [0, 0, 1] 維度太大 2. 詞袋模型與TF-IDF 詞袋模型：將字符串視爲一個 「裝滿字符（詞）的袋子」 

>>阅读原文<<