Word2vec、Bert、Transformer

Word2vec 模型分類 跳字模型 在跳字模型中，我們用一個詞來預測它在樣本序列周圍的詞。例如，給定文本序列 the、man、hit、this和son,跳字模型所關心的是，給定它的鄰近詞the、man、this 和 son 的概率。在這個例子中，hit叫中心詞，the、man、his、son叫做背景詞。 假設詞典大小爲 T T T,使用獨熱向量表示詞典中的每個詞，當窗口大小爲m時，跳字模型需要最

>>阅读原文<<