word2vec背後的數學原理+從零開始純Python實現(下)

引言 在上篇文章中我們瞭解到了word2vec中CBOW和Skip-Gram的原理，有一個主要的問題是計算量太大了。想象一下百萬級別的詞彙量，那個softmax需要計算百萬次。 本文就來介紹兩種優化方法，分別是層次Softmax(Hierarchical softmax)和負採樣(Negative Sampling)。 Hierarchical softmax 在介紹這種方法之前，我們來回顧一下數

>>阅读原文<<