ELMO

ELMO的每層計算中,通過一個正向RNN得到每個詞的embedding,再通過一個反向的RNN得到每個詞的embedding,再將同一個詞的兩個embedding進行contact,因此每個詞在不同的上下文中,詞向量就不同了。   ELMO實際上是一個多層的組合,假設一個兩層的ELMO計算後,每個詞會得到兩個embedding,那麼ELMO會使用兩個權重相乘再累加的方式求到最後該字的embeddi
相關文章
相關標籤/搜索