《word2vec Parameter Learning Explained》論文學習筆記

目錄：

• 1 Continuous Bag-of-Word Model
  • 1.1 One-word context
    • Update equation for hidden→output weights
    • Update equation for input→hidden weights
  • 1.2 Multi-word context
• 2 Skip-Gram Model
• 3 Optimizing Computational Efficiency
  • 3.1 Hierarchical Softmax
  • 3.2 Negative Sampling

---

由於word2vec模型學習生成的詞向量表示方法能夠攜帶句子的語義信息（semantic meanings），因此非常適用於多種NLP任務。
這篇論文詳細地推導和解釋了word2vec模型的參數更新公式，包括：CBOW（continuous bag-of-word）模型和SG（skip-gram）模型，以及兩種參數優化技術：hierarchical softmax 和 negative sampling.

---

1 Continuous Bag-of-Word Model

---

1.1 One-word context

---

我們從CBOW模型的最簡單版本開始介紹——One-word context。即我們假定context（預測目標單詞的上下文信息）只有一個單詞，也就是說One-word context 模型是在只要一個上下文單詞（one context word）的情況下來預測一個目標單詞（one target word）的。（注：對於初學神經網絡的讀者，建議先看完附錄A之後，在回到此處閱讀下文）。

如圖1描述的就是One-word context定義之下的神經網絡模型。這裏我們假設文本詞彙量的大小爲V,隱藏層的大小爲N，相鄰層的神經元是全連接的。輸入層是一個用one-hot方式編碼的單詞向量 x=(x1,...,xV) $\mathbf{x}=(x_1,...,x_V)$，其中只有一個 xi $x_i$爲1，其餘均爲0。
從輸入層到 隱藏層的權重值可以用一個 V×N $V\times N$維的矩陣 W $W$來表示，即

W=⎛⎝⎜⎜⎜ω11ω21...ωV1ω12ω22...ωV2............ω1Nω2N...ωVN⎞⎠⎟⎟⎟ $$W=\left(\begin{array}{cccc}{\omega }_{11}& {\omega }_{12}& ...& {\omega }_{1N}\\ {\omega }_{21}& {\omega }_{22}& ...& {\omega }_{2N}\\ ...& ...& ...& ...\\ {\omega }_{V1}& {\omega }_{V2}& ...& {\omega }_{VN}\end{array}\right)$$

其中 W $W$矩陣的每一行代表的是一個與輸入層相關的單詞的N維向量表示形式 vω ${\mathbf{v}}_{\omega }$。那麼假設我們給定了一個輸入單詞（a context）,其單詞向量的第k個元素 xk=1 $x_k=1$，其餘均爲0，則有

h=WTx=WT(k,∙)xk=vTωI(1) $\begin{array}{}\text{(1)}& \mathbf{h}={\mathbf{W}}^{T}x={\mathbf{W}}_{(k,\bullet )}^T{x}_k={\mathbf{v}}_{{\omega }_I}^T\end{array}$

從（1）式我們可以看出， h $h$向量完全是從 W $W$矩陣第k行復制過來的（同 vωI ${\mathbf{v}}_{{\omega }_I}$均爲N維向量）。 vωI ${\mathbf{v}}_{{\omega }_I}$即爲輸入單詞 ωI ${\omega }_I$的一種向量表示（其實就是輸入向量，我們後面會提到）。

分析完輸入層到隱藏層之後，我們再看隱藏層到輸出層，同樣連接權重用一個新的N × V矩陣 W′={ω′ij} ${\mathbf{W}}^{\prime }=\{{\omega }_{ij}^{\prime }\}$來表示如下：

W′=⎛⎝⎜⎜⎜⎜ω′11ω′21...ω′N1ω′12ω′22...ω′N2............ω′1Vω′2V...ω′NV⎞⎠⎟⎟⎟⎟ $${\mathbf{W}}^{\prime }=\left(\begin{array}{cccc}{\omega }_{11}^{\prime }& {\omega }_{12}^{\prime }& ...& {\omega }_{1V}^{\prime }\\ {\omega }_{21}^{\prime }& {\omega }_{22}^{\prime }& ...& {\omega }_{2V}^{\prime }\\ ...& ...& ...& ...\\ {\omega }_{N1}^{\prime }& {\omega }_{N2}^{\prime }& ...& {\omega }_{NV}^{\prime }\end{array}\right)$$

通過這些權重，我們可以爲詞表中的每一個單詞都計算出一個得分 μj ${\mu }_j$

μj=v′ωjTh(2) $\begin{array}{}\text{(2)}& {\mu }_j={{\mathbf{v}}_{{\omega }_{\mathbf{j}}}^{\prime }}^T\mathbf{h}\end{array}$

其中， v′ωj $v_{{\omega }_j}^{\prime }$即爲矩陣 W′ ${\mathbf{W}}^{\prime }$的第j列向量（也是N維向量，其實就是單詞w的輸出向量，我們後面會提到）。

經過以上討論之後，我們可以使用一種對數-線性分類模型softmax函數來計算單詞的後驗分佈（是多項式分佈）

p(ωj|ωI)=yj=exp(μj)∑Vj′=1exp(μj′)(3) $\begin{array}{}\text{(3)}& p({\omega }_j|{\omega }_I)=y_j=\frac{\exp ({\mu }_j)}{\underset{j^{\prime }=1}{\overset{V}{\sum }}\exp ({\mu }_{j^{\prime }})}\end{array}$

其中， yj $y_j$表示輸出層第j個神經單元的輸出值。將（1）式和（2）式代入（3）式我們可以得到：

p(ωj|ωI)=exp(v′ωjTvωI)∑Vj′=1exp(v′ωjTvωI)(4) $\begin{array}{}\text{(4)}& p({\omega }_j|{\omega }_I)=\frac{\exp ({{\mathbf{v}}_{{\omega }_j}^{\prime }}^T{\mathbf{v}}_{{\omega }_I})}{\underset{j^{\prime }=1}{\overset{V}{\sum }}\exp ({{\mathbf{v}}_{{\omega }_j}^{\prime }}^T{\mathbf{v}}_{{\omega }_I})}\end{array}$

注意：正如前文所述， vω ${\mathbf{v}}_{\omega }$和 v′ω ${\mathbf{v}}_{\omega }^{\prime }$是單詞的兩種向量表示形式。其中 vω ${\mathbf{v}}_{\omega }$實際上是權重矩陣 W $\mathbf{W}$（input->hidden）的某一行向量， v′ω ${\mathbf{v}}_{\omega }^{\prime }$則是權重矩陣 W′ ${\mathbf{W}}^{\prime }$（hidden->output）的某一列向量。我們將 vω ${\mathbf{v}}_{\omega }$和 v′ω ${\mathbf{v}}_{\omega }^{\prime }$分別稱爲「輸入向量（input vector）」和「輸出向量（output vector）」（二者均爲N維向量）。

---

Update equation for hidden→output weights

---

接下來讓我們推到權重矩陣的更新公式，儘管在實際的計算過程中這樣做是不切實際的（我們在之後再談）。
在我們推導hidden→output權重的更新公式的過程中，需要用到神經網絡的反向傳播算法，對這部分內容不熟悉的讀者可以參考附錄A的內容。
由以上描述可知，該模型訓練的目標就是求公式（4）的最大值。公式（4）代表的就是給定上下文信息（這裏爲一個單詞 ωI ${\omega }_I$）以及其權重矩陣的情況下，預測其實際輸出單詞（即上下文信息的中心詞 ωO ${\omega }_O$）的條件概率。

maxp(ωO|ωI)=maxyj∗=maxlogyj∗=μj∗−log∑j′=1Vexp(μj′):=−E(5)(6)(7) $$\begin{array}{}\text{(5)}& & maxp({\omega }_O|{\omega }_I)=max{y}_{j^{\ast }}\text{(6)}& & =max\log y_{j^{\ast }}\text{(7)}& & ={\mu }_{j^{\ast }}-\log \underset{j^{\prime }=1}{\overset{V}{\sum }}\exp ({\mu }_{j^{\prime }}):=-E\end{array}$$

其中， E=−logp(ωO|ωI) $E=-\log p({\omega }_O|{\omega }_I)$ 爲該模型的損失函數（我們需要找出它的最小值）， μ∗j ${\mu }_j^{\ast }$的表示方式由公式（ 2）而來, j∗ $j^{\ast }$則爲實際輸出單詞的索引下標。我們注意到該損失函數可以理解爲一種特殊情形下的 交叉熵計算。

現在我們開始推導從隱藏層到輸出層的權重矩陣在模型訓練過程中的參數更新公式。首先我們對損失函數 E=−logp(ωO|ωI) $E=-\log p({\omega }_O|{\omega }_I)$ 求關於得分 μj ${\mu }_j$的偏導數，得結果爲：

∂E∂μj=yj−tj:=ej(8) $\begin{array}{}\text{(8)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mu }_j}=y_j-t_j:=e_j\end{array}$

其中， tj=1(j=j∗) $t_j=1(j=j^{\ast })$ ,即當且僅當輸出層的第j個神經單元爲真實的輸出單詞時 tj $t_j$的取值爲1。接下來我們根據鏈式法則求出損失函數 E $E$關於矩陣 W′ $W^{\prime }$元素 ω′ij ${\omega }_{ij}^{\prime }$的偏導數爲：

∂E∂ω′ij=∂E∂μj⋅∂μj∂ω′ij=ej⋅hi(9) $\begin{array}{}\text{(9)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\omega }_{ij}^{\prime }}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mu }_j}\cdot \frac{\mathrm{\partial }{\mu }_j}{\mathrm{\partial }{\omega }_{ij}^{\prime }}=e_j\cdot h_i\end{array}$

因此，採用隨機梯度下降算法（SGD）,我們最終得到了隱藏層到輸出層（hidden → $\to$output）權重的更新公式如下：

ω′ij(new)=ω′ij(old)−η⋅ej⋅hi(10) $$\begin{array}{}\text{(10)}& {{\omega }_{ij}^{\prime }}^{(new)}={{\omega }_{ij}^{\prime }}^{(old)}-\eta \cdot e_j\cdot h_i\end{array}$$

or

v′ωj(new)=v′ωj(old)−η⋅ej⋅h  for j=1,2,...V.(11) $$\begin{array}{}\text{(11)}& {{\mathbf{v}}_{{\omega }_j}^{\prime }}^{(new)}={{\mathbf{v}}_{{\omega }_j}^{\prime }}^{(old)}-\eta \cdot e_j\cdot \mathbf{h}forj=1,2,...V.\end{array}$$

其中， η>0 $\eta >0$爲參數更新的學習速率； ej=yj−tj $e_j=y_j-t_j$； hi $h_i$ 爲隱藏層的第i個神經單元； v′ωj ${\mathbf{v}}_{{\omega }_j}^{\prime }$爲 ωj ${\omega }_j$的輸出向量。

由公式（11）我們可以看出：在更新權重參數的過程中，我們需要檢查詞彙表中的每一個單詞，計算出它的輸出概率 yj $y_j$，並與期望輸出 tj $t_j$（取值只能爲0或者1）進行比較。比較過程如下：

1）如果 yj>tj $y_j>t_j$(「overestimating」)，那麼就從向量 v′ωj ${\mathbf{v}}_{{\omega }_j}^{\prime }$中減去隱藏向量 h $\mathbf{h}$的一部分（例如 vωI ${\mathbf{v}}_{{\omega }_I}$），這樣向量 v′ωj ${\mathbf{v}}_{{\omega }_j}^{\prime }$就會與向量 vωI ${\mathbf{v}}_{{\omega }_I}$相差更遠。
2）如果 yj<tj $y_j<t_j$（「underestimating」，這種情況只有在 tj=1 $t_j=1$時，纔會發生，此時 ωj=ωO ${\omega }_j={\omega }_O$），則將隱藏向量 h $h$的一部分加入 v′ωO ${\mathbf{v}}_{{\omega }_O}^{\prime }$，使得 v′ωO ${\mathbf{v}}_{{\omega }_O}^{\prime }$與 vωI ${\mathbf{v}}_{{\omega }_I}$更接近。
3）如果 yj $y_j$與 tj $t_j$非常接近，則此時 ej=yj−tj $e_j=y_j-t_j$由於（公式（8））非常接近於0，故更新參數基本上沒什麼變化。

這裏需要再次提醒的是： vω ${\mathbf{v}}_{\omega }$和 v′ω ${\mathbf{v}}_{\omega }^{\prime }$是單詞 ω $\omega$的兩種不同的向量表示形式。

---

Update equation for input→hidden weights

---

在介紹完hidden → $\to$output的權重矩陣更新公式之後，我們接着介紹input → $\to$hidden的權重矩陣 W $W$的更新過程。我們繼續對損失函數 E $E$求關於隱藏層 hi $h_i$ 的偏導數，得：

∂E∂hi=∑Vj=1∂E∂μj⋅∂μj∂hi=∑Vj=1ej⋅ω′ij:=EHi(12) $\begin{array}{}\text{(12)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{h}_i}=\underset{j=1}{\overset{V}{\sum }}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mu }_j}\cdot \frac{\mathrm{\partial }{\mu }_j}{\mathrm{\partial }{h}_i}=\underset{j=1}{\overset{V}{\sum }}{e}_j\cdot {\omega }_{ij}^{\prime }:=E{H}_i\end{array}$

其中 hi $h_i$爲隱藏層第i個神經單元的輸出； μj ${\mu }_j$在公式（2）中已經定義，表示輸出層第j個神經單元的輸入； ej=yj−tj $e_j=y_j-t_j$爲輸出層第j個單詞的預測誤差。因此EH應該是一個N維向量，它的每一個元素代表的是詞彙表中的每個單詞的預測誤差 ej $e_j$與 ω′ij ${\omega }_{ij}^{\prime }$在j=1到V上的乘積之和。

接下來，我們需要求出損失函數 E $E$關於權重矩陣 W $W$的偏導數。首先，分解公式（1），我們知道隱藏層激活單元的輸出 hi $h_i$是輸入層 x $\mathbf{x}$與權重的線性組合，即

hi=∑Vk=1xk⋅ωki(13) $\begin{array}{}\text{(13)}& h_i=\underset{k=1}{\overset{V}{\sum }}{x}_k\cdot {\omega }_{ki}\end{array}$

因此對於權重矩陣 W $W$的每一個元素，我們求關於 E $E$的偏導數，得到：

∂E∂ωki=∂E∂hi⋅∂hi∂ωki=EHi⋅xk(14) $\begin{array}{}\text{(14)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\omega }_{ki}}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{h}_i}\cdot \frac{\mathrm{\partial }{h}_i}{\mathrm{\partial }{\omega }_{ki}}=E{H}_i\cdot x_k\end{array}$

因此我們利用張量乘積的方式，便可得到：

∂E∂W=x⊗EH=xEHT(15) $\begin{array}{}\text{(15)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }W}=\mathbf{x}\otimes EH=\mathbf{x}E{H}^T\end{array}$

我們再次得到了一個 N×V $N\times V$的矩陣。由於 x $\mathbf{x}$向量只有一個非0元素，因此 ∂E∂W $\frac{\mathrm{\partial }E}{\mathrm{\partial }W}$ 只有一行是N維非0向量 EHT $E{H}^T$，因此矩陣 W $W$的更新公式爲：

vωI(new)=vωI(old)−η⋅EHT(16) $\begin{array}{}\text{(16)}& {{\mathbf{v}}_{{\omega }_I}}^{(new)}={{\mathbf{v}}_{{\omega }_I}}^{(old)}-\eta \cdot E{H}^T\end{array}$

其中 vωI ${\mathbf{v}}_{{\omega }_I}$是矩陣 W $W$的其中一行，是唯一的上下文單詞（context word）的「輸入向量」,也是矩陣 W $W$唯一的導數非0的行向量。 除了 vωI ${\mathbf{v}}_{{\omega }_I}$以外，矩陣 W $W$的其他行向量在參數更新迭代過程中都會保持不變（因爲其導數爲0）。

與矩陣 W′ $W^{\prime }$的更新過程相似，對於公式（16），我們分析如下：

1）如果過高地估計了某個單詞 ωj ${\omega }_j$作爲最終輸出單詞的概率（即： yj>tj $y_j>t_j$），則上下文單詞 ωI ${\omega }_I$（context word ）的輸入向量與單詞 ωj ${\omega }_j$的輸出向量在更新的過程中會相差越來越大。

2）如果相反，某個單詞 ωj ${\omega }_j$作爲最終輸出單詞的概率被低估（即： yj<tj $y_j<t_j$），則單詞 ωI ${\omega }_I$的輸入向量與單詞 ωj ${\omega }_j$的輸出向量在更新過程中會越來越接近。

3）如果對於單詞 ωI ${\omega }_I$的概率預測是準確的，則對於單詞的輸入向量在更新過程中幾乎保持不變。

因此，上下文單詞 ωI ${\omega }_I$（context word ）的輸入向量的更新取決於詞彙表中所有單詞的預測誤差。預測誤差越大，則該單詞對於上下文單詞的輸入向量的更新過程影響越大。

在介紹完One-word context的CBOW模型之後，我們接着介紹multi-word context下的CBOW模型。

---

1.2 Multi-word context

---

根據字面意思我們就可以看出，基於multi-word context的CBOW模型就是利用多個上下文單詞來推測中心單詞target word的一種模型。其結構如圖2所示：

其隱藏層的輸出值的計算過程爲：首先將輸入的上下文單詞（context words）的向量疊加起來並取其平均值，接着與input → $\to$hidden的權重矩陣相乘，作爲最終的結果，公式如下：

h=1CWT(x1+x2+⋯+xC)=1C(vω1+vω2+⋯+vωC)T(17)(18) $$\begin{array}{}\text{(17)}& & \mathbf{h}=\frac{1}{C}{\mathbf{W}}^T({\mathbf{x}}_1+{\mathbf{x}}_2+\cdots +{\mathbf{x}}_C)\text{(18)}& & =\frac{1}{C}({\mathbf{v}}_{{\omega }_1}+{\mathbf{v}}_{{\omega }_2}+\cdots +{\mathbf{v}}_{{\omega }_C}{)}^T\end{array}$$

其中 C $C$爲上下文單詞的個數， ω1,...,ωC ${\omega }_1,...,{\omega }_C$爲上下文單詞， vω ${\mathbf{v}}_{\omega }$爲單詞 ω $\omega$的輸入向量。損失函數爲：

E=−logp(ωO|ωI,1,...,ωI,C)=−μj∗+log∑j′=1Vexp(μj′)=−v′ωOT⋅h+log∑j′=1Vexp(v′ωjT⋅h)(19)(20)(21) $$\begin{array}{}\text{(19)}& & E=-\log p({\omega }_O|{\omega }_{I,1},...,{\omega }_{I,C})\text{(20)}& & =-{\mu }_{j^{\ast }}+\log \underset{j^{\prime }=1}{\overset{V}{\sum }}exp({\mu }_{j^{\prime }})\text{(21)}& & =-{{\mathbf{v}}_{{\omega }_O}^{\prime }}^T\cdot \mathbf{h}+\log \underset{j^{\prime }=1}{\overset{V}{\sum }}\exp ({{\mathbf{v}}_{{\omega }_j}^{\prime }}^T\cdot \mathbf{h})\end{array}$$

同樣，由hidden → $\to$output的權重更新公式與one-word-context模型下的一模一樣，即類似於公式（11），我們直接寫在下面：

v′ωj(new)=v′ωj(old)−η⋅ej⋅h   for  j=1,2,...,V(22) $\begin{array}{}\text{(22)}& {{\mathbf{v}}_{{\omega }_j}^{\prime }}^{(new)}={{\mathbf{v}}_{{\omega }_j}^{\prime }}^{(old)}-\eta \cdot e_j\cdot \mathbf{h}forj=1,2,...,V\end{array}$

由input → $\to$hidden 的權重矩陣更新公式與公式（16）類似，只不過現在我們需要對每一個上下文單詞 ωI,c ${\omega }_{I,c}$都執行如下更新公式：

vωI,c(new)=vωI,c(old)−1C⋅η⋅EHT  for  c=1,2,...,C.(23) $\begin{array}{}\text{(23)}& {{\mathbf{v}}_{{\omega }_{I,c}}}^{(new)}={{\mathbf{v}}_{{\omega }_{I,c}}}^{(old)}-\frac{1}{C}\cdot \eta \cdot E{H}^{T}forc=1,2,...,C.\end{array}$

其中 vωI,c ${\mathbf{v}}_{{\omega }_{I,c}}$爲上下文context中第c 個單詞的輸入向量； η $\eta$爲正學習速率； EH=∂E∂hi $EH=\frac{\mathrm{\partial }E}{\mathrm{\partial }{h}_i}$由公式（12）給出。

---

2 Skip-Gram Model

---

與CBOW模型正好相反，Skip-Gram模型是根據中心單詞（target word）來預測其上上下文信息（context words）。如圖3所示，爲Skip-Gram模型的結構示意圖。

我們仍然使用 vωI ${\mathbf{v}}_{{\omega }_I}$來表示輸入層上唯一的那個單詞的輸入向量，因此，我們對於隱藏層的輸出值 h $\mathbf{h}$的計算公式與第一節公式（1）相同，表示如下：

h=WT(k,∙):=vωI(24) $\begin{array}{}\text{(24)}& \mathbf{h}={\mathbf{W}}_{(k,\bullet )}^T:={\mathbf{v}}_{{\omega }_I}\end{array}$
公式（24）顯示： h $\mathbf{h}$向量其實就是input->hidden權重矩陣 W $\mathbf{W}$的某一行結合輸入單詞 ωI ${\omega }_I$的向量拷貝。在輸出層，與CBOW模型的輸出爲單個多項式分佈不同的是，SG模型在輸出層輸出了C個多項式分佈。每個輸出都使用相同的hidden->output矩陣計算：

p(ωc,j=ωO,c|ωI)=yc,j=exp(μc,j)∑Vj′=1exp(μ′j)(25) $\begin{array}{}\text{(25)}& p({\omega }_{c,j}={\omega }_{O,c}|{\omega }_I)=y_{c,j}=\frac{\exp ({\mu }_{c,j})}{\underset{j^{\prime }=1}{\overset{V}{\sum }}\exp ({\mu }_j^{\prime })}\end{array}$

其中， ωc,j ${\omega }_{c,j}$表示輸出層的第c個panel的第j個單詞（何爲panel?就是輸出層的表示每個上下文單詞的神經元的組合，圖中一種有C個context words，所以總共有C個panel）； ωO,c ${\omega }_{O,c}$實際上表示的是輸出上下文單詞（output context words）的第c個單詞； ωI ${\omega }_I$是唯一的輸入單詞； yc,j $y_{c,j}$爲輸出層的第c個panel上的第j個神經單元的概率輸出值； μc,j ${\mu }_{c,j}$表示的是輸出層第c個panel的第j個神經元的輸入值；由於輸出層的所有panels共享同一權重矩陣 W′ $\mathbf{W}{}^{\prime }$,因此：

μc,j=μj=v′ωjT⋅h, for c=1,2,...,C(26) $\begin{array}{}\text{(26)}& {\mu }_{c,j}={\mu }_j={{\mathbf{v}}_{{\omega }_j}^{\prime }}^T\cdot \mathbf{h},forc=1,2,...,C\end{array}$
其中， v′ωj ${\mathbf{v}}_{{\omega }_j}^{\prime }$爲詞彙表第j個單詞 ωj ${\omega }_j$的輸出向量；同樣，它也是取自於hidden → $\to$output權重矩陣 W′ ${\mathbf{W}}^{\prime }$的一列。

---

SG模型參數更新公式的推導過程與one-word-context 模型的推導過程大體上一樣。這裏我們將損失函數變爲：

E=−logp(ωO,1,ωO,2,...,ωO,C|ωI)=−log∏c=1Cexp(μc,j∗c)∑Vj′=1exp(μj′)=−∑c=1Cμj∗c+C⋅log∑j′=1Vexp(μj′)(27)(28)(29) $$\begin{array}{}\text{(27)}& & E=-\log p({\omega }_{O,1},{\omega }_{O,2},...,{\omega }_{O,C}|{\omega }_I)\text{(28)}& & =-\log \underset{c=1}{\overset{C}{\prod }}\frac{\exp ({\mu }_{c,j_c^{\ast }})}{\underset{j^{\prime }=1}{\overset{V}{\sum }}\exp ({\mu }_{j^{\prime }})}\text{(29)}& & =-\underset{c=1}{\overset{C}{\sum }}{\mu }_{j_c^{\ast }}+C\cdot \log \underset{j^{\prime }=1}{\overset{V}{\sum }}\exp ({\mu }_{j^{\prime }})\end{array}$$

其中， j∗c $j_c^{\ast }$爲第c個輸出層輸出的上下文單詞在詞彙表中的真實索引。
在得到損失函數 E $E$之後，我們對輸出層的每一個panel上的所有激活單元的輸入值 μc,j ${\mu }_{c,j}$,均求其關於 E $E$的偏導數，得：

∂E∂μc,j=yc,j−tc,j:=ec,j(30) $\begin{array}{}\text{(30)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mu }_{c,j}}=y_{c,j}-t_{c,j}:=e_{c,j}\end{array}$
其中 ec,j $e_{c,j}$爲輸出層神經元的預測誤差，與公式（8）類似。爲了簡化符號，我們定義一個 V $V$維的向量 EI={EI1,...,EIV} $EI=\{E{I}_1,...,E{I}_V\}$作爲所有上下文單詞的預測誤差之和， EIj $E{I}_j$用公式定義如下：

EIj=∑Cc=1ec,j(31) $\begin{array}{}\text{(31)}& E{I}_j=\underset{c=1}{\overset{C}{\sum }}{e}_{c,j}\end{array}$

接下來，我們計算hidden->output權重矩陣 W′ ${\mathbf{W}}^{\prime }$關於 E $E$的偏導數爲：

∂E∂ω′ij=∑Cc=1∂E∂μc,j⋅∂μc,j∂ω′ij=EIj⋅hi(32) $\begin{array}{}\text{(32)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\omega }_{ij}^{\prime }}=\underset{c=1}{\overset{C}{\sum }}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mu }_{c,j}}\cdot \frac{\mathrm{\partial }{\mu }_{c,j}}{\mathrm{\partial }{\omega }_{ij}^{\prime }}=E{I}_j\cdot h_i\end{array}$

這樣，我們就得到了hidden → $\to$output權重矩陣 W′ ${\mathbf{W}}^{\prime }$的參數更新公式爲：

ω′ij(new)=ω′ij(old)−η⋅EIj⋅hi(33) $\begin{array}{}\text{(33)}& {{\omega }_{ij}^{{}^{\prime }}}^{(new)}={{\omega }_{ij}^{{}^{\prime }}}^{(old)}-\eta \cdot E{I}_j\cdot h_i\end{array}$
或者

v′ωj(new)=v′ωj(old)−η⋅EIj⋅h   for j=1,2,...,V.(34) $\begin{array}{}\text{(34)}& {{\mathbf{v}}_{{\omega }_j}^{\prime }}^{(new)}={{\mathbf{v}}_{{\omega }_j}^{\prime }}^{(old)}-\eta \cdot E{I}_j\cdot \mathbf{h}forj=1,2,...,V.\end{array}$

上述參數更新公式的直觀概念理解與上文公式（11）無二，除了一點就是：輸出層的預測誤差的計算是基於多個上下文單詞context words,而不是單個目標單詞 target word;需注意的是對於每一個訓練樣本，我們都要利用該參數更新公式來更新hidden → $\to$output權重矩陣 W′ ${\mathbf{W}}^{\prime }$的每個元素。

同樣，對於input → $\to$hidden權重矩陣 W $\mathbf{W}$的參數更新公式的推導過程，除了考慮要將預測誤差 ej $e_j$替換爲 EIj $E{I}_j$外，其他也與上文公式（12）到公式（16）類似。這裏我們直接給出更新公式：

vωI(new)=vωI(old)−η⋅EHT(35) $\begin{array}{}\text{(35)}& {{\mathbf{v}}_{{\omega }_I}}^{(new)}={{\mathbf{v}}_{{\omega }_I}}^{(old)}-\eta \cdot E{H}^T\end{array}$

其中， EH $EH$是一個 N $N$維向量，組成該向量的每一個元素可以用如下公式表示：
EHi=∑Vj=1EIj⋅ω′ij(36) $\begin{array}{}\text{(36)}& E{H}_i=\underset{j=1}{\overset{V}{\sum }}E{I}_j\cdot {\omega }_{ij}^{\prime }\end{array}$
公式（36）的直觀理解與公式（16）類似，這裏不作描述。

---

3 Optimizing Computational Efficiency

---

總結以上的模型介紹，我們發現所有模型的詞彙表中的每個單詞都存在兩個向量表示形式：輸入向量 vω ${\mathbf{v}}_{\omega }$與輸出向量 v′ω ${\mathbf{v}}_{\omega }^{\prime }$.對於輸入向量的參數學習成本並不高，但對於輸出向量的學習成本代價是非常昂貴的。根據更新公式（22）和（23），我們可以發現，爲了更新輸出向量 v′ω ${\mathbf{v}}_{\omega }^{\prime }$，對於每一個訓練樣例，我們必須迭代遍歷詞彙表中所有的單詞 ωj ${\omega }_j$，計算出它們的輸入值 μj ${\mu }_j$、概率預測值 yj $y_j$（或者SG模型中的 yc,j $y_{c,j}$），預測誤差 ej $e_j$（或者SG模型的 EIj $E{I}_j$）。最終使用預測誤差更新它們的輸出向量 v′j ${\mathbf{v}}_j^{\prime }$.
顯然，對於每一個訓練樣例都要對所有單詞計算上述各值，其成本是昂貴的。特別是對於大型的詞彙表，這種計算方式是不切實際的。因此爲了解決這個問題，直觀的方式是限制必須要更新的訓練樣例的輸出向量的數目。一種有效的實現方式就是：hierarchical softmax（分層softmax），另一種實現通過採樣的方式解決，我們在下個章節來討論。
這兩種方法都是通過只優化輸出向量更新的計算過程來實現的。在我們的公式推導過程中，我們關心的有三個值：（1） E $E$，新的目標函數；（2） ∂E∂v′ω $\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{v}}_{\omega }^{\prime }}$，新的關於輸出向量的更新公式；（3） ∂E∂h $\frac{\mathrm{\partial }E}{\mathrm{\partial }\mathbf{h}}$，爲了更新輸入向量反向傳播的預測誤差的加權和。

---

3.1 Hierarchical Softmax

---

Hierarchical softmax 是一種有效的計算 softmax 的方式。該模型使用一棵二叉樹來表示詞彙表中的所有單詞。所有的 V $V$個單詞都在二叉樹的葉節點上。非葉子節點一共有 V−1 $V-1$個。對於每個葉子節點，從根節點root到該葉子節點只有一條路徑；這條路徑用來評估用該葉子節點代表該葉子節點上單詞的概率值。二叉樹的結構如圖4所示：

Figure 4: An example binary tree for the hierarchical softmax model.
其中白色的樹節點代表的是詞彙表中的單詞，灰色節點爲內部節點。圖中高亮顯示的是一條從根節點到 ω2 ${\omega }_2$的路徑。該條路徑的長度爲 L(ω2)=4 $L({\omega }_2)=4$。 n(ω,j) $n(\omega ,j)$表示從根節點到單詞 ω $\omega$ 的路徑上的第j個節點。

在hierarchical softmax模型中，所有的詞彙單詞沒有輸出向量表示形式。不同的是，二叉樹的每一個內部節點都有一個輸出向量 v′n(ω,j) ${\mathbf{v}}_{n(\omega ,j)}^{\prime }$。因此一個單詞作爲輸出單詞的概率計算公式定義如下：

p(ω=ωO)=∏L(ω)−1j=1σ([[n(ω,j+1)=ch(n(ω,j))]]⋅v′n(w,j)Th)(37) $\begin{array}{}\text{(37)}& p(\omega ={\omega }_O)=\underset{j=1}{\overset{L(\omega )-1}{\prod }}\sigma ([[n(\omega ,j+1)=ch(n(\omega ,j))]]\cdot {{\mathbf{v}}_{n(w,j)}^{\prime }}^T\mathbf{h})\end{array}$

其中， ch(n) $ch(n)$爲節點 n $n$的左孩子節點； v′n(ω,j) ${\mathbf{v}}_{n(\omega ,j)}^{\prime }$是內部節點 n(ω,j) $n(\omega ,j)$的向量表示（輸出向量）； h $\mathbf{h}$是隱藏層的輸出值（在SG模型中， h=vωI $h={\mathbf{v}}_{{\omega }_I}$;而在CBOW模型中， h=1C∑Cc=1vωc $\mathbf{h}=\frac{1}{C}\underset{c=1}{\overset{C}{\sum }}{\mathbf{v}}_{{\omega }_c}$）; [[x]] $[[x]]$是一種特殊的函數定義如下：

[[x]]={1−1,if x is trueotherwise(38) $$\begin{array}{}\text{(38)}& [[x]]=\{\begin{array}{ll}1& \text{if }x\text{ is true}\\ -1,& \text{otherwise}\end{array}\end{array}$$

接下來，我們通過一個直觀地例子來理解公式（37）。如圖4所示，假定我們需要計算單詞 ω2 ${\omega }_2$作爲輸出單詞的概率。我們將這個概率定義爲從根節點開始隨機遊走到葉節點 ω2 ${\omega }_2$的概率。則在每一個內部節點（包括根節點），我們都需要確定其路徑指向左孩子節點還是右孩子節點的概率。我們將經過內部節點的路徑指向左孩子的概率定義爲：

p(n,left)=σ(v′nT⋅h)(39) $\begin{array}{}\text{(39)}& p(n,left)=\sigma ({{\mathbf{v}}_n^{\prime }}^T\cdot \mathbf{h})\end{array}$

我們可以看出，公式（39）的值取決於內部節點的向量表示 v′n ${\mathbf{v}}_n^{\prime }$和隱藏層的輸出值 h $\mathbf{h}$( h $\mathbf{h}$的值取決於輸入單詞的向量表示)。顯然，內部節點的路徑指向右孩子的概率則可以表示爲：

p(n,right)=1−σ(v′nT⋅h)=σ(−v′nT⋅h)(40) $\begin{array}{}\text{(40)}& p(n,right)=1-\sigma ({{\mathbf{v}}_n^{\prime }}^T\cdot \mathbf{h})=\sigma (-{{\mathbf{v}}_n^{\prime }}^T\cdot \mathbf{h})\end{array}$

順着圖4中從根節點到單詞 ω2 ${\omega }_2$節點的路徑，我們可以計算出 ω2 ${\omega }_2$作爲輸出單詞的概率爲：

p(ω2=ωO)=p(n(ω2,1),left)⋅p(n(ω2,2),left)⋅p(n(ω2,3),right)=σ(v′n(ω2,1)Th)⋅σ(v′n(ω2,2)Th)⋅σ(−v′n(ω2,3)Th)⋅(41)(42) $$\begin{array}{}\text{(41)}& & p({\omega }_2={\omega }_O)=p(n({\omega }_2,1),left)\cdot p(n({\omega }_2,2),left)\cdot p(n({\omega }_2,3),right)\text{(42)}& & =\sigma ({{\mathbf{v}}_{n({\omega }_2,1)}^{\prime }}^T\mathbf{h})\cdot \sigma ({{\mathbf{v}}_{n({\omega }_2,2)}^{\prime }}^T\mathbf{h})\cdot \sigma (-{{\mathbf{v}}_{n({\omega }_2,3)}^{\prime }}^T\mathbf{h})\cdot \end{array}$$

不難證明
∑Vi=1p(ωi=ωO)=1(43) $\begin{array}{}\text{(43)}& \underset{i=1}{\overset{V}{\sum }}p({\omega }_i={\omega }_O)=1\end{array}$

現在我們開始推導內部節點的向量表示形式的參數更新公式。爲了簡化步驟，我們首先考慮單個上下文單詞（one-word context）的模型。
爲了簡化公式，我們定義子公式的簡化符號如下：

[[⋅]]:=[[n(ω,j+1)=ch(n(ω,j))]](44) $\begin{array}{}\text{(44)}& [[\cdot ]]:=[[n(\omega ,j+1)=ch(n(\omega ,j))]]\end{array}$
v′j:=v′nω,j(45) $\begin{array}{}\text{(45)}& {\mathbf{v}}_j^{\prime }:={\mathbf{v}}_{n_{\omega ,j}}^{\prime }\end{array}$

則，給定一個訓練樣例，其誤差函數我們可以定義如下：

E=−logp(ω=ωO|ωI)=−∑L(ω)−1j=1logσ([[⋅]]v′jTh)(46) $\begin{array}{}\text{(46)}& E=-\log p(\omega ={\omega }_O|{\omega }_I)=-\underset{j=1}{\overset{L(\omega )-1}{\sum }}\log \sigma ([[\cdot ]]{{\mathbf{v}}_j^{\prime }}^T\mathbf{h})\end{array}$

對於誤差函數 E $E$，我們取其關於 v′jh ${\mathbf{v}}_j^{\prime }\mathbf{h}$的偏導數，得：

∂E∂v′jh=(σ([[⋅]]v′jTh)−1)[[⋅]]={σ(v′jTh)−1,σ(v′jTh),[[.]]=1[[.]]=-1=σ(v′jTh)−tj(47)(48)(49) $$\begin{array}{}\text{(47)}& & \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{v}}_j^{\prime }\mathbf{h}}=(\sigma ([[\cdot ]]{{\mathbf{v}}_j^{\prime }}^T\mathbf{h})-1)[[\cdot ]]\text{(48)}& & =\{\begin{array}{ll}\sigma ({{\mathbf{v}}_j^{\prime }}^T\mathbf{h})-1,& \text{[[.]]=1}\\ \sigma ({{\mathbf{v}}_j^{\prime }}^T\mathbf{h}),& \text{[[.]]=-1}\end{array}\text{(49)}& & =\sigma ({{\mathbf{v}}_j^{\prime }}^T\mathbf{h})-t_j\end{array}$$

其中 tj=1 $t_j=1$（如果 [[⋅]]=1 $[[\cdot ]]=1$）或者 tj=0 $t_j=0$（如果 [[⋅]]=−1 $[[\cdot ]]=-1$）。

緊接着我們計算內部節點 n(ω,j) $n(\omega ,j)$的向量表示 v′j ${\mathbf{v}}_j^{\prime }$關於函數 E $E$的偏導數，得：

∂E∂v′j=∂E∂v′jh⋅∂v′jh∂v′j=(σ(v′jTh)−tj)⋅h(50) $\begin{array}{}\text{(50)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{v}}_j^{\prime }}=\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{v}}_j^{\prime }\mathbf{h}}\cdot \frac{\mathrm{\partial }{\mathbf{v}}_j^{\prime }\mathbf{h}}{\mathrm{\partial }{\mathbf{v}}_j^{\prime }}=(\sigma ({{\mathbf{v}}_j^{\prime }}^T\mathbf{h})-t_j)\cdot \mathbf{h}\end{array}$

因此，更新公式爲：

v′j(new)=v′j(old)−η(σ(v′jTh)−tj)⋅h , for j=1,2,...,L(ω)−1(51) $\begin{array}{}\text{(51)}& {{\mathbf{v}}_j^{\prime }}^{(new)}={{\mathbf{v}}_j^{\prime }}^{(old)}-\eta (\sigma ({{\mathbf{v}}_j^{\prime }}^T\mathbf{h})-t_j)\cdot \mathbf{h},forj=1,2,...,L(\omega )-1\end{array}$

我們可以將 σ(v′jTh)−tj $\sigma ({{\mathbf{v}}_j^{\prime }}^T\mathbf{h})-t_j$理解爲內部節點 n(ω,j) $n(\omega ,j)$的預測誤差。每一個內部節點的「任務」就是預測其隨機遊走路徑是指向左孩子節點還是指向右孩子節點。 tj=1 $t_j=1$意味着節點 n(ω,j) $n(\omega ,j)$的路徑指向左孩子節點； tj=0 $t_j=0$則表示指向右孩子節點。 σ(v′jTh) $\sigma ({{\mathbf{v}}_j^{\prime }}^T\mathbf{h})$是預測結果。對於一個訓練實例，如果內部節點的預測值非常接近於真實值，則它的向量表示 v′j ${\mathbf{v}}_j^{\prime }$的更新變化很小；否則 v