CS224n筆記（一）

skip-gram model 在每一個估算步都取一個詞作爲中心詞彙，嘗試去預測它一定範圍內上下文的詞彙，這個模型會定義一個概率分佈：給定一箇中心詞彙，其他單詞在這個詞彙上下文出現的概率，作爲詞彙的向量表示，然後讓概率分佈最大化。這個模型只有一個概率分佈，這個概率分佈就是輸出，也就是出現在中心詞周圍的上下文的一個輸出，接着我們要定義一個半徑m，然後從中心詞彙開始到距離爲m的位置，用剛剛的概率分佈去

>>阅读原文<<