Word2vec、Bert、Transformer

Word2vec 模型分類 跳字模型 在跳字模型中,我們用一個詞來預測它在樣本序列周圍的詞。例如,給定文本序列 the、man、hit、this和son,跳字模型所關心的是,給定它的鄰近詞the、man、this 和 son 的概率。在這個例子中,hit叫中心詞,the、man、his、son叫做背景詞。 假設詞典大小爲 T T T,使用獨熱向量表示詞典中的每個詞,當窗口大小爲m時,跳字模型需要最
相關文章
相關標籤/搜索