word2vec Parameter Learning Explained筆記

目錄 1.CBOW模型 2.Skip Gram模型 3.Hierarchical softmax 4.Negative Sampling 前言，下面公式多次用到的求導法則： sigmoid函數的導數具有以下形式： 1.CBOW模型 首先從輸入輸出都是一個詞的模型講起。 模型中詞典大小爲V，隱藏層規模爲N，連接層爲全連接，輸入層爲one-hot編碼方式。對於一個特定詞，詞向量爲x={x1，x2，…，

>>阅读原文<<